面向智算场景的高性能网络白皮书_41页_1mb
报告摘要
ZTE中兴高性能网络白皮书总结
核心内容
本白皮书聚焦于面向智算场景的高性能网络,分析了高性能数据中心网络(HP-DCN)与高性能广域网(HP-WAN)在技术架构、关键需求及挑战方面的情况。随着生成式人工智能(AIGC)和高性能计算(HPC)的发展,AI大模型训练对网络提出了更高的要求,包括超大规模组网、超高稳定性、极致高性能、多维自动化运维和可规模扩展的安全机制。同时,广域网在数据协同和数据快递场景下,也需要满足有效高吞吐、公平共享带宽、低传输成本、高安全性等需求。
主要观点
- 超大规模组网是高性能数据中心网络的基础需求,传统的CLOS架构在面对更大规模时面临时延、故障定位与成本等挑战。
- 超高稳定性是高性能网络的前提,需通过硬件检测、多级保障、链路可靠传输等手段实现故障无感恢复与长期稳定性。
- 极致高性能是核心,要求网络具备超低时延、极低抖动和有效高吞吐能力,需优化拥塞控制机制和路径控制策略。
- 多维自动化运维体系是必要条件,需实现多维度监控、高精度感知和快速故障定位,以应对AI训练带来的复杂网络运维需求。
- 可规模扩展的安全机制是保障,需采用零信任模型、轻量级加密和安全会话无关技术,以满足大规模数据传输的安全性需求。
- 高性能广域网需要支持海量数据传输、任务式传输及配额调度,并通过主动拥塞避免、近源端反馈机制和端网协同速率协商实现高效、安全的广域传输。
关键信息
高性能数据中心网络(HP-DCN)关键技术
- 大规模组网交换机:采用51.2T交换机支持超大规模组网,提供高带宽密度、低延迟和低功耗,满足GPU集群的连接需求。
- 大规模组网路由协议:支持可扩展、快速部署和组播能力,如RIFT协议,能够适应CLOS/Fat-Tree和Dragonfly+等新型拓扑。
- 故障无感恢复:通过硬件检测、多级保障和自适应路由切换,实现亚毫秒级的故障链路切换。
- 链路级可靠传输:采用轻量级FEC与链路层重传机制,优化传输效率并降低延迟。
- 端网协同路径控制:通过端侧感知与网络侧控制,实现动态路径调整,确保业务性能一致性。
- 网络隔离与资源保障:通过逻辑或物理隔离和QoS策略,保障不同训练任务之间的资源合理分配。
- 层次化负载均衡:结合全局与局部负载均衡,提升网络吞吐和资源利用率。
- 拥塞控制机制:如AI-ECN、ENCC等,支持算法无关、智能快速反馈和多维度控制。
- 集合通信卸载(CCO):通过统一编排与轻量传输,减少数据在网络中的传输次数,提升吞吐和降低延迟。
- 多维自动化运维:构建层次化可观测体系,实现高精度感知、业务调优和快速故障排查。
- 可扩展安全机制:采用零信任架构、安全域与密钥管理、轻量级加密和安全会话无关技术,提升网络安全性和可扩展性。
高性能广域网(HP-WAN)关键技术
- 主动拥塞避免:通过基于配额的流控和时隙化队列管理,实现长距离传输中的拥塞控制。
- 近源端反馈机制:在长距离传输场景下,采用基于offered load的快速反馈,提升网络状态感知能力。
- 端网协同速率协商:通过端网协同,实现初始速率的合理设定,避免拥塞和资源浪费。
- 任务式传输及配额调度:根据任务需求进行资源预留和动态调度,保障传输效率和稳定性。
- 基于流的网络监控:通过Telemetry技术实现对网络状态的实时监测,支持高吞吐和高可靠传输。
技术架构
- 中兴高性能网络技术架构基于算内、算间和入算三大场景,提供高吞吐、高可靠、低时延、智能和灵活扩展的网络支持。
- HP-DCN为无损网络,包含算、端、网、管四要素,支持端网协同、统一编排、智能控制等。
- HP-WAN为有损网络,包含端、网、管,支持端网协同、任务式传输和广域资源调度。
- 高性能网络技术发展趋向于端网融合、智能化和标准化,推动更高效能和低成本的网络基础设施。
展望
- 随着AI和HPC的发展,高性能网络将不断演进,从单一功能向多维度协同发展。
- 端网协同、智能拥塞控制、零信任架构和Telemetry技术将成为未来高性能网络的重要发展方向。
- 通过标准化和开放生态,高性能网络将更广泛地应用于智算场景,提升网络的可靠性、安全性和智能化水平。
展开完整摘要
试读结束,高清完整版pdf/doc/ppt,请点下载