【中国移动】2023年NICC新型智算中心技术体系白皮书_56页_16mb

报告摘要

中国移动NICC新型智算中心技术体系白皮书总结

核心内容

中国移动发布《新型智算中心技术体系白皮书》，提出构建面向未来大模型的新型智算中心（NICC），从新互联、新算效、新存储、新平台和新节能五个维度提出下一代技术演进建议，旨在推动智算中心向更高效、更智能、更可持续的方向发展。

主要观点

智算中心已成为全球第一大算力：AI技术的快速发展使智能算力需求井喷，预计到2030年全球智能算力需求将增长约390倍，我国智能算力占比将升至70%。
早期智算中心面临技术、标准、生态、运营等挑战：缺乏统一标准，生态封闭，难以实现跨架构迁移和全局调度。
NICC技术体系架构：由“三层两域”构成，包括基础设施层、智算平台层、应用使能层，以及智算运维域和智算运营域。
NICC发展路径：分为“集群时期”和“超级池化时期”，当前处于集群时期，未来将进入超级池化时代，实现更高吞吐和更低时延。
新互联技术：强调高速卡间互联和集群间高速无损网络的重要性，提出全调度以太网（GSE）作为未来智算网络的关键技术。
新算效技术：包括下一代AI芯片设计、存算一体架构和DPU的引入，以提升计算效率和能效。
新存储技术：提出多协议融合存储、全局统一存储和基于计算总线的统一内存池，以应对大模型训练带来的存储挑战。
新平台技术：通过池化技术和算力原生平台实现资源高效利用和跨架构迁移。
新节能技术：关注新型散热方式和高效能资源管理，以实现可持续发展。

关键信息

3.1 集群内的高速卡间互联

大模型分布式训练需求：千亿级模型训练需要高带宽、低时延和高扩展性的卡间互联技术。
当前技术瓶颈：PCIe设备带宽和通信模式无法满足大模型需求，需向扣卡模组形态演进。
推荐方案：统一计算总线协议，支持百卡互联，实现更高性能和更低延迟。

3.2 集群间的高速无损网络

主流方案：InfiniBand与RoCE是当前智算网络的主要技术方案。
挑战与演进方向：
- 传统ECMP负载均衡不足：需向基于包的动态负载均衡演进。
- 被动拥塞控制问题：需引入主动拥塞控制机制。
- 全局调度需求：需实现集中式管理与分布式控制的结合。
全调度以太网（GSE）：作为未来智算中心网络的关键技术，支持零丢包、高带宽、低时延和自动化调度。

4.1 下一代AI芯片设计思路

GPU与DSA架构并存：GPU用于通用并行计算，DSA用于神经网络加速。
存算一体：通过将计算与存储单元融合，提升计算效率并降低能耗。
稀疏计算：减少无用计算，提升能效。
支持混合精度：通过量化、蒸馏等技术实现低精度推理，提升实时性。

4.3 DPU实现计算、存储和网络的深度协同

DPU功能：提供统一云化管理、高性能存储卸载及加速、RDMA网络协同优化。
DPU替代模式：
- 替代存储面及管理面网卡，用于云化存储加速。
- 替代参数面网卡，用于RDMA网络优化。
挑战：DPU软硬融合层标准化、网络与DPU深度协同、硬件标准化。

5.1 计算与存储的交互过程

数据交互流程：包括数据上传、数据转移、数据读取、归档写回、模型复制和模型下载。
挑战：小文件读操作、大文件复制、存储调度和跨地域数据一致性。

5.3 多协议融合存储贯通异构数据

融合存储：统一接口实现文件存储与对象存储的协同，减少数据复制和迁移。
挑战：协议转换语义损失、安全策略差异。
解决方案：制定统一存储框架，实现元数据准确映射和统一访问控制。

5.4 全局统一存储打破单体局限

跨地域统一命名空间：实现数据的统一调度和高效交互。
挑战：现有技术架构限制、长距离数据传输时延。
解决方案：推动统一接口标准，实现存储、网络、传输技术的协同创新。

5.5 基于计算总线构建统一内存池

内存池技术：实现CPU、GPU、Cache、HBM等设备的内存一致性。
挑战：数据频繁移动、接口不透明、兼容性问题。
解决方案：采用CXL协议，推动内存池化技术发展。

6.1 池化技术优化资源使用效率

池化技术：通过“化整为零、隔空取物、化零为整、变静为动”提升资源利用率。
技术实现：基于Kubernetes和池化运行时组件，实现资源的动态分配与回收。
挑战：API劫持复杂、兼容性差、法律风险。
替代方案：基于驱动层面的池化技术，减少仿真复杂度。

6.2 算力原生融通多样算力生态

算力原生平台：实现跨架构的资源管理、开发、调试和部署。
目标：支持“一次封装、跨芯迁移、一体部署”。
关键组件：跨架构编译器、原生运行时、集成开发环境。
合作倡议：推动算力原生技术成熟，构建统一生态。

6.3 分布式训练提升模型训练效率

分布式训练框架：如NVIDIA Megatron、华为MindSpore、微软DeepSpeed等。
挑战：通信开销、同步问题、容错性、调试与监控。
未来趋势：自动化、简洁化、高效化，推动大规模模型训练。

总结

中国移动的NICC技术体系旨在应对大模型时代对智算中心的全新需求，推动技术标准统一、生态开放融合和资源高效利用。通过引入新互联、新算效、新存储、新平台和新节能技术，NICC将构建更高效、更智能、更可持续的智算基础设施，支持未来AI应用的快速发展。白皮书强调了产业链协同的重要性，并呼吁各方共同推动技术成熟与生态繁荣。

展开完整摘要