AI算力跟踪深度(三)-从英伟达的视角看算力互连板块成长性——ScaleUp网络的_ScalingLaw_存在吗_34页_2mb
报告摘要
英伟达通过两条路径持续扩大Scale Up网络规模:一是不断提升NVLink带宽(如最新NVLink 5.0支持单卡7.2Tb/s带宽),二是设计更大规模的超节点(如从NVL8到NVL32再到NVL576)。这些措施旨在缓解AI算力场景中的“内存墙”问题,提高显存使用效率。
Scale Up网络主要用于高密度GPU集群,通过池化显存降低通信延迟,提升模型训练和推理效率。相比Scale Out网络,Scale Up具有更高的单卡通信带宽。然而,随着单用户TPS(Token每秒处理量)提升,现有Scale Up规模逐渐逼近极限,需要通过更高层级的网络架构(如第二层交换机)进行扩展。
随着AI计算范式演进,如张量并行和专家并行的应用,通信需求急剧上升,单一Scale Out网络难以满足高频、大容量通信需求。Scale Up网络凭借高速互联已逐渐成为主流解决方案。同时,用户对模型输出速度和体验要求不断提高,进一步推动单用户TPS增长,驱动了更大规模Scale Up网络的需求。
在投资层面,光连接、铜互连和交换机等环节受益于Scale Up网络延伸,市场规模有望显著增长。相关公司包括中际旭创、新易盛、锐捷网络等。但需要警惕的是,若算力互连需求不及预期或技术发展不及客户部署节奏,产业链各环节公司业绩可能受到影响。
展开完整摘要
试读结束,高清完整版pdf/doc/ppt,请点下载