【中移智库】2023新型智算中心算力池化技术白皮书_33页_1mb

新型智算中心算力池化技术白皮书总结

核心内容

本白皮书由中国移动通信有限公司研究院主编，联合多家企业共同编撰，旨在分析智能算力发展的趋势及挑战，系统性介绍算力池化技术的定义、目标、架构与关键技术，并呼吁业界合作推动算力池化标准体系的建设。

主要观点

• 算力池化技术背景：
  随着人工智能在各行业广泛应用，智能算力成为推动数字经济发展的核心引擎。然而，传统智算中心存在资源利用率低、碎片化严重等问题，亟需通过算力池化技术提升资源效率和降低整体成本。

• 算力池化定义与目标：
  算力池化是依托云计算技术，将异构算力资源（如GPU、AI芯片）集中管理并统一调度，实现资源的灵活分配与高效利用。其目标包括：提升资源利用率、降低碎片率、实现资源的动态伸缩与服务质量保障。

关键信息

算力池化技术背景

• 资源效率问题：传统智算中心GPU利用率不足30%，资源分配粗放，无法满足多样化的AI任务需求。
• 资源碎片化：任务类型、规模、优先级差异导致资源碎片化严重，影响整体效能。
• 池化技术优势：通过软件定义方式实现资源的灵活调度、跨节点调用，提升资源利用率。

算力池化技术架构

• 池化资源管理模块：基于Kubernetes增强管理能力，支持分布式存储、多网络平面、高速网络协议等。
• 资源服务代理模块：包括池化服务代理、Kubernetes服务代理、设备插件、容器运行时等，实现资源的重定向与动态分配。
• 池化运行时模块：基于原生运行时（如CUDA）进行二次封装，实现API劫持、资源调度等功能。

算力池化技术能力层级

• 阶段1：静态管理
  将物理GPU/AI芯片固定切分为虚拟资源，如1/2或1/4，实现资源的初步共享。
• 阶段2：动态管理
  支持算力与显存的细粒度分配（如1%算力、1MB显存），实现资源的动态伸缩与超分。
• 阶段3：池化管理
  支持CPU与GPU/AI芯片资源的独立成池，实现跨节点调用、远程资源整合，提升资源流转效率。

算力池化关键技术

1. 软件定义的资源分配方式

   • API劫持技术：通过劫持Runtime API（如CUDA API），实现资源的动态调度与远程调用。
   • 应用程序监视器技术：通过监视器对应用程序状态进行管理，实现资源的跨节点调度与分配，具备更强的通用性。

2. 算力资源高质量管理技术

   • 资源细粒度分配：支持按算力与显存粒度进行资源分配。
   • 资源限额管理：实现多租户之间的资源隔离与控制。
   • 资源无感动态伸缩：支持容器资源的动态分配与回收。
   • 资源超分及峰谷互补：通过时分复用与多任务调度，提升资源利用率。
   • 智算任务队列化管理：支持任务的智能调度与优先级管理，优化资源使用效率。

3. 泛在化碎片的池化整合技术

   • 跨机整合：通过资源聚合，整合本地与远程的碎片资源，提升多卡任务启动效率。
   • SLA分级管理：按任务优先级和性能要求进行资源分配，保障关键业务的服务质量。

产业实践

• 趋动科技OrionX池化平台：通过API劫持技术实现GPU资源池化，支持用户应用透明共享数据中心资源。
• VMware BitFusion & Radium池化平台：BitFusion提供共享GPU资源池，Radium通过应用程序监视器实现资源的动态调度。
• 中兴TECS OpenPalette平台：基于Docker与Kubernetes技术，支持容器共享GPU资源，实现灵活调度。
• 华为基于Volcano的CCE平台：通过智能调度、大规模分布式调度、GPU虚拟化等技术，提升资源利用率。

展望与倡议

• 技术发展趋势：随着AIGC产业的快速发展，算力池化技术将成为提升算力效率、降低成本的重要手段。
• 倡议内容：
  • 联合攻关算力池化关键技术，如异构调度、池化运行时、敏捷管理等。
  • 推动算力池化标准体系建设，实现不同硬件和运行时的兼容与统一。
  • 共建算力池化技术开源生态，促进产业协同与技术成熟。

总结

算力池化技术通过软件定义的方式，实现对异构算力资源的灵活调度、动态分配与高效整合，是提升智算中心资源利用率、降低碎片化、优化整体效能的重要手段。中国移动联合多家厂商推动该技术的实践与标准化，为构建高效、灵活、低成本的智能算力基础设施奠定基础。