2023-09-12-中移智库-2023新型智算中心算力池化技术白皮书_33页_1mb

新型智算中心算力池化技术白皮书总结

核心内容

本白皮书由中国移动通信有限公司研究院主编，联合多家企业共同编写，旨在推动算力池化技术的成熟与标准化，解决传统智算中心资源利用率低、碎片化严重的问题。白皮书系统分析了算力池化技术的背景、定义、架构、关键技术以及产业实践，提出了未来发展的倡议。

主要观点

• 算力池化是应对智能算力资源效率问题的关键：传统智算中心中GPU资源利用率不足30%，资源碎片化严重，亟需通过池化技术实现资源的灵活调度与高效利用。
• 算力池化技术目标：通过软件定义的方式，实现对异构算力资源的统一调度与管理，提高资源利用率，降低总体拥有成本（TCO），并支持多任务的峰谷互补。
• 算力池化技术具备四大能力：化整为零、隔空取物、化零为整、变静为动，分别对应资源精细化分配、跨节点调用、碎片资源整合以及动态资源管理。

关键信息

1. 算力池化技术背景

• 数字经济加速发展，AI在多个场景广泛应用，对智能算力需求激增。
• 传统智算中心存在资源利用率低、碎片化严重的问题，尤其GPU利用率不足30%。
• 由于AI任务多样化，资源分配需更灵活，池化技术成为提升资源效率的关键手段。

2. 算力池化定义与目标

• 定义：依托云计算技术，将GPU、AI芯片等异构算力资源进行池化管理，实现统一调度、分配和生命周期管理。
• 目标：提升资源利用率，降低TCO，实现多任务的资源动态调配与服务质量保障。

3. 算力池化架构与关键技术

3.1 算力池化平台技术架构

• 由池化资源管理、资源服务代理、池化运行时三类模块组成。
• 池化资源管理：基于Kubernetes增强管理组件，实现资源调度。
• 资源服务代理：负责将资源访问请求重定向到实际物理位置，支持跨机访问。
• 池化运行时：基于CUDA等原生运行时封装，通过API劫持和应用程序监视器技术实现资源调度。

3.2 算力池化技术能力层级

• 阶段1：静态管理：将物理资源切分为固定比例的虚拟资源，如1/2或1/4的GPU。
• 阶段2：动态管理：支持按需分配资源，最小颗粒度为1%算力和1MB显存，实现动态伸缩与超分。
• 阶段3：池化管理：实现CPU与GPU/AI芯片资源的独立调度，支持跨节点调用，提升资源流转效率。

3.3 算力池化关键技术

• 软件定义的资源分配方式：包括API劫持技术和应用程序监视器技术。
  • API劫持技术：通过劫持Runtime API（如CUDA）实现资源调度，支持细粒度资源分配。
  • 应用程序监视器技术：在不依赖特定运行时的情况下，实现对AI任务的资源动态管理，具备更强的通用性和兼容性。
• 算力资源高质量管理技术：
  • 细粒度分配：按算力和显存两个维度分配资源。
  • 资源限额管理：通过隔离和控制技术，避免资源争抢。
  • 无感动态伸缩：实现资源的按需分配与回收。
  • 资源超分及峰谷互补：通过时分复用和任务优先级管理，提升资源使用效率。
  • SLA分级管理：按任务优先级进行资源分配，保障服务质量。

4. 算力池化产业实践

• 趋动科技OrionX池化平台：实现GPU资源池化，通过API劫持技术将vGPU需求匹配到物理资源。
• VMware BitFusion和Radium池化平台：BitFusion支持远程GPU共享，Radium通过监视器实现资源动态分配。
• 中兴TECS OpenPalette平台：基于Docker和Kubernetes技术，实现GPU资源的细粒度管理与共享。
• 华为基于Volcano的CCE平台：支持GPU/Al芯片混部，通过智能调度和虚拟化技术提升资源利用率。

5. 展望与倡议

• 随着AIGC等技术的发展，智能算力需求将指数级增长，算力池化技术将发挥更大作用。
• 中国移动倡议产学研合作，推动算力池化技术标准化、开源化和产品化，构建统一的算力池化平台。

总结

算力池化技术通过软件定义方式，对异构算力资源进行统一管理，提升资源利用率和调度灵活性。其核心在于实现资源的动态分配、跨节点调用、碎片整合与服务质量保障。白皮书呼吁产业界合作，推动算力池化技术的标准化与生态建设，为智能算力基础设施的发展提供坚实支撑。