2023新型智算中心算力池化技术白皮书-中移智库_33页_1mb

中国移动新型智算中心算力池化技术白皮书（2023）总结

背景
数字经济加速发展，智能算力成为支撑产业数字化转型的核心基础设施。智算中心承载模型训练、推理等业务，但传统模式面临资源利用率低、碎片化严重等挑战。据公开数据显示，传统智算中心GPU利用率为20%-30%，资源分配粗放，硬件适配不足，网络瓶颈制约性能，导致算力浪费和成本高企。随着AI任务多样性和规模差异扩大，资源碎片化问题加剧，亟需通过算力池化实现高效管理。

算力池化定义与目标
算力池化是依托云计算技术，整合异构算力资源（如GPU、AI芯片）并按需统一调度的体系。其核心目标包括：

1. 化整为零：革新传统整卡分配模式，实现细粒度资源分配（如按1%算力、1MB显存为单位）。
2. 隔空取物：通过高速无损网络跨节点调用资源，实现CPU与GPU算力解耦，降低碎片率。
3. 化零为整：聚合零散资源，形成可再分配的统一算力池，满足多样化业务需求。
4. 变静为动：动态分配与回收资源，支持任务峰谷互补和全局超分，提高整体效率。

架构与关键技术
算力池化平台基于Kubernetes定制化实现，分为三类模块：

1. 池化资源管理：支持分布式存储、多网络平面、RoCEv2/Infiniband网络，结合调度扩展和资源池化控制器实现统一调度。
2. 资源服务代理：通过池化服务代理和Kubernetes设备插件，将资源访问请求重定向至物理位置，并利用容器运行时（如Containerd）注入池化运行时。
3. 池化运行时：基于原生运行时（如CUDA）进行二次封装，实现API劫持和资源远程调用。

关键技术包括：

• 软件定义资源分配：采用API劫持技术（如CUDAAPI）或应用程序监视器技术（如VMware Radium），灵活管理资源。
• 高质量资源管理：支持细粒度分配、资源隔离、动态伸缩、超分与峰谷互补，优化资源利用率。
• 泛在化碎片整合：通过跨机资源聚合和SLA分级管理，合并碎片资源为统一池体，提升多卡任务启动效率。

产业实践
业界厂商及中国移动均探索算力池化方案：

1. 趋动科技OrionX：基于API劫持技术，实现GPU/AI芯片资源池化，用户无需修改应用即可透明共享算力。
2. VMware BitFusion/Radium：通过客户端/服务器架构和监视器技术，支持多虚拟机/容器共享远程GPU资源，动态分割任务负载。
3. 中兴TECS OpenPalette：结合Docker/Kubernetes，提供标准化容器化池化方案，支持GPU资源独占或共享调度。
4. 华为CCE平台：基于Volcano调度器，实现异构算力资源混部，通过混合调度、应用感知、大规模分布式调度和GPU虚拟化技术提升利用率。
5. 中国移动实践：在智算中心部署大模型训练池、小模型训练池及推理池，采用自研容器基础设施EKI叠加池化模块，通过高速无损网络实现资源统一管理，重点推进池化技术的标准化与开源生态建设。

倡议与展望
为推动算力池化技术成熟，中国移动提出以下倡议：

1. 联合产学研力量攻关异构算力集中调度、运行时技术及敏捷化管理技术；
2. 制定池化运行时标准，兼容多类型硬件及原生运行时，构建统一生态；
3. 推动池化技术开源实现，降低产业应用门槛，促进算力池化平台全球化发展。

算力池化技术以高利用率、低成本和灵活调度为优势，有望成为解决智算中心资源瓶颈的关键方案，未来需在标准化、生态协同和技术创新上持续发力。