华为研究-网络筑基_智算腾飞2025年7月_149页_31mb
报告摘要
华为研究总结:AI时代网络技术演进与创新
核心内容
本期《华为研究》聚焦AI时代网络技术的创新与演进,围绕传输层技术、网络均衡、通算融合、集合通信、网络拓扑、互联与接口等多个核心议题,探讨如何构建面向未来的智能网络,为AI发展提供坚实的技术支撑。
主要观点
1. 传输层技术
- 传输层数控分离(DCP)技术体系:提出“数控分离、控制面无损、数据面有损”的DCP架构,以减少网络侧Buffer开销,实现高吞吐、低时延的传输性能。
- 双向概率头部裁剪(CP):通过概率性CP触发机制,避免多流同步触发,减少带宽震荡;通过双向反馈,提升长距离场景下的反馈效率。
- 可靠保序机制:提出“发端免Bitmap”和“双端免Bitmap”两种机制,减少存储负担,提升可靠性与效率。
- 乱序接收(DDP):通过免Buffer DDP设计,实现数据报文的高效接收与重排,减少延迟和带宽消耗。
- HT-CC拥塞控制算法:基于头部修剪和ECN信号,实现有损网络下的快速启动、收敛和恢复,参数少、调优方便、部署便捷。
2. 网络均衡
- 智算中心网络流量特征:流数量少、路由熵低、单流流量大、阶段性强,对传统ECMP等方案提出了挑战。
- NSLB算网协同时空均衡:通过集中式视角,主动获取全局通信关系,统一算路下发配置,实现全网链路无冲突,提升网络吞吐效率。
- 逐包负载均衡(ACK-Clocking):基于端侧AR,利用ACK信号实现细粒度负载均衡,有效应对链路故障和拥塞问题。
3. 通算融合
- 网存算融合技术:通过统一多NPU编程范式,提升系统性能近线性扩展,增强兼容性和可维护性。
- 未来探索方向:提出“网络即计算”的愿景,推动网络与计算的深度融合,实现更高效的资源利用和通信性能。
4. 集合通信
- 集合通信的重要性:是大规模AI训练和高性能计算的关键技术,影响端到端效率和算效。
- 算法设计挑战:面对参数量和序列长度指数增长,提升集合通信效率成为研究热点。
- 华为实践与展望:介绍了华为在集合通信算法设计上的实践,提出未来研究方向,如优化通信模式、提升算效等。
5. 网络拓扑设计
- 光电混合组网:提出光电混合数据中心网络的优势,解决传统电交换架构的成本和能耗问题。
- 超节点与集群组网设计:分析超节点特征,提出集群组网设计原则与创新改进,提升网络的性能与可靠性。
- FIRE路由控制架构:提出面向AI需求的FIRE架构,实现快速收敛与意图驱动的路由控制。
6. 互联与接口
- 高效智能短距光互联:探讨光互联模块的多模和单模技术进展,以及在超节点和大型集群中的应用。
- 智能化高速接口:包括智能故障诊断、灵活降Lane和物理层加密等,提升网络接口的智能化水平。
- 448G互联技术探索:展望448G互联技术的需求、架构及关键技术,为新一代互联技术提供参考。
关键信息
- DCP技术体系:通过“数控分离”实现控制面无损,数据面有损,降低网络Buffer开销和成本,提升传输性能。
- NSLB算法:通过集中式视角,实现无冲突通信,提升AI训练效率,大模型训练提速20%。
- ACK-Clocking机制:通过端侧AR,实现细粒度负载均衡,提升带宽利用率,减少拥塞。
- HT-CC算法:基于头部修剪和ECN信号,实现有损网络下的高效拥塞控制,性能优于传统方案。
- 448G互联技术:探讨未来高速互联技术的需求与关键技术,为下一代网络架构提供思路。
技术探索与应用
- AI集群网络性价比提升:通过优化网络传输机制,提升网络效率,降低资源消耗。
- 跨AZ分布式AI训练组网:研究跨可用区组网和通信策略,提升AI训练的扩展性与可靠性。
- 网络自闭环与流量大模型:通过数据驱动网络自闭环,提升网络智能化水平;构建网络流量大模型,优化网络资源调度。
- 基于LLM的运维Agent:探索利用大模型提升网络运维效率,实现智能化运维。
结论与展望
- AI时代的网络不仅是数据传输通道,更是计算集群的关键子系统,是实现AI Scaling Law的核心基础设施。
- DCP、NSLB、HT-CC等技术体系为构建高效、可靠、智能的AI网络提供了重要支撑。
- 未来网络技术将更加智能化、高效化,实现“网络即计算”的愿景,推动AI与网络的深度融合。
缩略语与关键术语
| 缩略语 | 全称 | 说明 |
|---|---|---|
| ACK | Acknowledgement | 确认(报文) |
| AI | Artificial Intelligence | 人工智能 |
| AICN | AI-Centric Network | 人工智能中心网络 |
| BDP | Bandwidth-Delay Product | 带宽时延乘积 |
| DCP | Data Control Partitioning | 数控分离 |
| DCN | Data Center Network | 数据中心网络 |
| ECN | Explicit Congestion Notification | 显式拥塞通告 |
| HT | Header Trimming | 报文头部修剪 |
| NACK | Negative Acknowledgement | 否定应答(报文) |
| PFC | Priority-based Flow Control | 优先级流控 |
| PSN | Packet Sequence Number | 报文序列号 |
| QP | Queue Pair | 队列对 |
| RTT | Round-Trip Time | 往返时延 |
| SACK | Selective Acknowledgement | 选择性应答 |
| SP | Strict Priority | 严格优先级(调度) |
| TCP | Transmission Control Protocol | 传输控制协议 |
| WAN | Wide Area Network | 广域网 |
| WRR | Weighted Round Robin | 加权轮询(调度) |
参考文献
- [1] Yibo Zhu, Haggai Eran, Daniel Firestone, Chuanxiong Guo, et al., "Congestion control for large-scale RDMA deployments," in SIGCOMM 2015.
- [2] Radhika Mittal, Alexander Shpiner, Aurojit Panda, et al., "Revisiting network support for RDMA," in SIGCOMM 2018.
- [3] Peng Cheng, Fengyuan Ren, Ran Shu, and Chuang Lin, "Catch the whole lot in an action: Rapid precise packet loss notification in data center," in NSDI 2014.
- [4] Mark Handley, Costin Raiciu, Alexandru Agache and Andrei Voinescu, "Re-architecting datacenter networks and stacks for low latency and high performance," in SIGCOMM 2017.
- [5] Van Jacobson, "Congestion avoidance and control," in ACM SIGCOMM, 1988.
- [6] Mohammad Alizadeh, Albert Greenberg, David A. Maltz, Jitendra Padhye, Parveen Patel, Balaji Prabhakar, Sudipta Sengupta, and Murari Sridharan, "Data Center TCP (DCTCP)," in ACM SIGCOMM, 2010.
- [7] Yuanwei Lu et al. "Multi-path transport for RDMA in datacenters," 15th USENIX symposium on networked systems design and implementation (NSDI 18). 2018.
展开完整摘要
试读结束,高清完整版pdf/doc/ppt,请点下载