2023-10-14-华为_中国信通院-2023星河AI网络白皮书_50页_5mb

星河AI网络白皮书总结

核心内容

本白皮书聚焦于AI大模型训练对网络技术提出的新需求，分析了AI发展对算力、算法和数据的依赖，以及网络在其中扮演的关键角色。同时，提出了星河AI网络作为新一代AI训练网络解决方案，旨在通过技术创新满足AI训练对高性能、高可靠性、大规模、可运维和开放性的需求。

主要观点

• AI发展加速：AI正迈入万亿参数大模型时代，算法、算力和数据三要素共同推动AI技术向更深层次发展。
• 算力需求激增：随着模型参数量的增加，AI训练所需的算力呈指数级增长，GPU集群规模从千卡走向万卡。
• 网络成为关键瓶颈：网络通信时间在AI训练过程中占比显著，对网络性能、可靠性、运维能力提出了更高要求。
• 星河AI网络方案：星河AI网络通过高吞吐、高可靠、可运维、大规模和开放性五大能力模型，打造面向AI大模型的高性能训练网络。

关键信息

1. 算法发展

• 模型结构演进：当前大语言模型主要基于Transformer结构，解码器模型成为主流。
• 多模态模型：GPT4等模型引入多模态处理能力，支持文本、图像、视频等多类型数据处理。
• 扩展定律与涌现能力：模型参数量和训练数据量的增加可显著提升模型性能，但收益递减现象也逐渐显现。
• 模型发展挑战：高质量数据集的稀缺性成为模型进一步发展的瓶颈。

2. 算力需求

• 算力增长趋势：GPU单卡算力增长缓慢，而AI模型训练需求呈指数增长。
• 算力投入与成本：训练一个千亿参数模型需约1000张GPU卡，万亿参数模型需数万张GPU卡。
• 算力与数据投入比例：AI模型发展应更注重数据质量，数据投入占比应达到80%。

3. 网络需求

• 并行计算模式：AI训练采用数据并行、流水线并行和张量并行模式，带来超大容量网络需求。
• 网络性能瓶颈：传统网络技术（如ECMP）无法满足AI流量模型，需创新解决方案。
• 网络可靠性：AI训练周期长，网络中断影响大，需实现亚毫秒级故障切换。
• 网络可运维性：需实现通信异常一键诊断、全栈可视化运维能力。

4. 星河AI网络能力

• 高吞吐：通过优化网络架构，实现AI流量的全局吞吐最优，支持多任务并行。
• 高可靠：采用DPFR技术，实现亚毫秒级故障收敛，保障AI训练稳定。
• 可运维：提供三层两维运维体系，包括基础网络运维、RoCE网络运维和AI网络运维。
• 大规模：通过多轨网络架构和优化组网层次，支持千卡乃至万卡规模的算力集群。
• 开放性：采用标准以太RoCE协议，兼容以太生态，降低供应和运维风险。

5. 最佳实践

• 武汉人工智能计算中心：作为首个产业级AI计算中心，采用星河AI网络方案，实现高性能、高可靠、可扩展的AI训练网络部署。
• 网络性能测试：在MPI和Benchmark测试中，RoCE网络性能与IB网络基本持平，满足AI训练需求。

网络技术发展新方向

• 超融合以太网络：支持零丢包，适应大规模AI训练需求。
• 网络级负载均衡：实现全局流量矩阵分析，提升网络利用率。
• 包级负载均衡：动态调整流量路径，实现更均衡的网络负载。
• Telemetry技术：实现毫秒级网络性能监控，提升运维效率。
• AI运维能力：结合大数据分析和AI预测算法，实现光链路故障的实时检测和预测。

未来展望

• 以太网成为主流：随着AI训练需求增长，以太网技术将逐步替代传统IB方案。
• 云网一体化：AI Cloud推动多租户、多业务网络融合，支持灵活的资源调度和性能保障。
• 技术创新与合作：星河AI网络将推动AI训练网络技术的持续发展，倡导合作共赢，共同构建高性能AI网络生态。

术语与缩略词

• AI: Artificial Intelligence（人工智能）
• BERT: Bidirectional Encoder Representations from Transformers（双向编码器变换器表示法）
• T5: Text-To-Text Transfer Transformer（文本到文本转换变压器）
• IDC: International Data Corporation（国际数据公司）
• RTT: Round Trip Time（往返路径时间）
• ECMP: Equal-Cost Multi-Path（等价路由负荷分担）
• MTBF: Mean Time Between Failures（平均故障间隔时间）
• VPC: Virtual Private Cloud（虚拟私有云）
• SLA: Service Level Agreement（服务水平协议）
• NSLB: Network scale load balancing（网络级负载均衡）
• DPFR: Data Plane Fast Recovery（数据平面快速恢复）
• MTU: Maximum Transmission Unit（最大传输单元）
• RoCE: Remote Direct Memory Access over Ethernet（基于以太网的远程直接内存访问）
• API: Application Programming Interface（应用程序编程接口）