超节点与Scale_up网络专题之英伟达_行业标杆_领先优势建立在NVLink和NVLink_Switch_27页_2mb

报告摘要

超节点与 Scale up 网络专题之英伟达：行业标杆，领先优势建立在 NVLink 和 NVLink Switch

核心内容

随着大语言模型（LLM）参数规模的持续增长，从千亿级向万亿级乃至十万亿级演进，跨服务器张量并行（TP）和专家并行（EP）成为分布式训练和推理的关键技术需求。为满足这些需求，构建超高带宽、超低延迟的 Scale up 网络成为行业主流技术路径。英伟达凭借其 NVLink 和 NVLink Switch 技术，在超节点领域保持领先优势，并不断推出新的超节点方案，如 GH200 NVL72、GB200/GB300 NVL72、VR200 NVL72 等。

主要观点

Scale up 网络技术需求：由于TP和EP对网络带宽与延迟的严苛要求，Scale up 网络成为AI算力网络的重要方向。
NVLink 技术优势：NVLink 重新设计通信架构，引入网状拓扑、差分信号传输、流量调度信用机制、多Lane绑定技术、统一内存空间等创新，支持GPU间高带宽、低延迟通信。
NVLink Switch 的作用：NVLink Switch 是实现大规模GPU互联的关键设备，支持多端口高速交换，提升系统整体通信性能。
超节点产品演进：
- GH200 NVL72：采用NVLink和NVLink-C2C技术，实现GPU与CPU内存统一编址。
- GB200/GB300 NVL72：稳定在72个GPU/机柜规模，形成可复制标准化方案。
- VR200 NVL72：采用无缆互联架构，总交换容量翻倍至259.2TB/s，NVLink 6 Switch 提升单GPU互连带宽至3.6TB/s。
- 未来规划：2026-2027年推出 Vera Rubin NVL144 和 Rubin Ultra NVL576，互联GPU数从72颗扩展至576颗。
技术路线对比：
- Scale up vs Scale out：Scale up 网络具有更高带宽、更低延迟，但规模受限；Scale out 网络则支持更大规模，但带宽和延迟相对较低。
- 互联技术方案：铜缆互联（如NVLink）具有成本低、可靠性高，但传输距离受限；光纤互联（如华为的灵衢协议）突破距离限制，但存在功耗高、成本高、故障率高等问题。

关键信息

NVL72 超节点架构：
- 由18个Compute Tray（计算托架）和9个Switch Tray（网络交换托架）构成。
- 每个Compute Tray 包含4颗B200 GPU 和2颗Grace CPU，形成GB200超级芯片。
- 每个Switch Tray 包含2颗NVLink Switch 5芯片，总交换容量为129.6TB/s。
性能指标：
- GB200 NVL72：提供180 PFLOP TF32 Tensor Core 算力，总内存容量13.8TB，内存带宽576TB/s，Scale up 带宽64800 GB/s。
- VR200 NVL72：提供72颗VR200 GPU，总交换容量259.2TB/s，单GPU互连带宽提升至3.6TB/s。
供应链与生态：英伟达超节点供应链包括PCB背板、高速铜缆、光模块、供电与液冷系统等。中国厂商在超节点领域参与度高，未来或有领先表现。
未来趋势：英伟达计划在新一代 Kyber 机架架构中引入 NVLink Switch Blade，通过 PCB 中板替代传统有源铜缆，进一步提升带宽和降低功耗。