NICC新型智算中心算力池化技术白皮书（2023年）_31页_1mb

NICC新型智算中心算力池化技术白皮书总结

核心内容概述

本白皮书由中国移动通信有限公司研究院主编，联合多家技术企业共同编撰，旨在分析智能算力发展的趋势与挑战，系统性介绍算力池化技术的定义、目标、架构及关键技术，并呼吁业界合作推动算力池化技术的标准化与成熟化。

主要观点

• 算力池化是解决资源效率问题的关键：传统智算中心存在资源利用率低、碎片化严重的问题，影响了整体效能。算力池化通过聚合、调度、动态分配等手段，提升资源使用效率，降低TCO（总体拥有成本）。
• 算力池化的目标：实现资源的集中调度、按需分配，提高资源利用率，支持多样化AI任务需求，同时通过服务质量管理保障关键业务的优先级。
• 算力池化技术具备四大关键能力：化整为零、隔空取物、化零为整、变静为动，使资源管理更灵活、高效。

关键信息

1. 算力池化技术背景

• 数字经济推动AI广泛应用，智能算力需求持续增长。
• 传统智算中心存在以下问题：
  • GPU资源利用率不足：平均低于30%，浪费严重。
  • 资源碎片化：由于任务类型、规模、优先级差异，导致资源难以有效利用。
• 池化技术的必要性：通过软件定义资源分配，实现灵活调度，减少资源浪费，提升整体效率。

2. 算力池化定义与目标

• 定义：依托云计算技术，整合异构算力资源（如GPU、AI芯片），实现统一调度与管理，支撑AI业务全生命周期。
• 目标：
  • 实现资源的集中调度与按需分配。
  • 通过动态资源分配、超分、队列化管理等方式提升资源利用率。
  • 支持不同优先级任务的资源分配策略，保障服务质量。

3. 算力池化架构与关键技术

3.1 技术架构

算力池化平台技术架构主要包括以下三个模块：

• 池化资源管理：基于Kubernetes增强，实现资源的动态调度与管理。
• 资源服务代理：负责将资源访问请求重定向至实际物理资源，支持跨节点调用。
• 池化运行时：通过API劫持和应用程序监视器技术，实现资源的虚拟化与远程调用。

3.2 技术能力层级

算力池化技术按成熟度可分为以下三个层级：

• 阶段1：静态管理
  将单卡资源切分为多个虚拟GPU，实现资源共享。
• 阶段2：动态管理
  支持按算力与显存的最小颗粒度（1%、1MB）动态分配，提升资源灵活性。
• 阶段3：池化管理
  实现CPU与GPU/AI芯片资源的独立成池，支持跨节点调用与资源队列化管理，提升整体资源利用率。

3.3 关键技术

• 软件定义的资源分配方式

  • API劫持技术：通过劫持Runtime API（如CUDA API），实现对GPU/AI芯片资源的动态调度与虚拟化。
  • 应用程序监视器技术：在不依赖特定运行时API的情况下，实现资源的灵活调度与跨节点调用，具备更强的通用性。

• 算力资源高质量管理技术

  • 资源细粒度分配：支持按1%算力、1MB显存等最小颗粒度进行资源分配。
  • 资源限额管理：实现租户与进程间的资源隔离与控制，减少资源争抢。
  • 资源无感动态伸缩：支持容器的动态资源分配与回收，提升资源使用灵活性。
  • 资源超分及峰谷互补：通过资源调度实现资源的动态分配与共享，提升利用率。
  • 智算任务队列化管理：支持AI任务在资源不足时排队等待，按优先级执行。

• 泛在化碎片的池化整合技术

  • 跨机整合：通过池化技术将分散在不同服务器上的零散资源整合，提升资源利用率。
  • SLA分级与服务质量管理：根据任务优先级和性能需求，动态调整资源分配策略，保障服务质量。

4. 产业实践

• 趋动科技OrionX池化平台
  采用API劫持技术，实现GPU/AI芯片的透明共享与统一调度，提升资源使用效率。
• VMware BitFusion与Radium池化平台
  BitFusion通过客户端/服务器架构实现GPU资源共享，Radium通过应用程序监视器技术实现更灵活的资源调度。
• 中兴TECS OpenPalette平台
  基于Docker与Kubernetes技术，支持容器共享CPU与GPU资源，提升资源利用率。
• 华为基于Volcano的CCE平台
  提供在线/离线混合调度、应用感知智能调度、大规模分布式调度及GPU虚拟化能力，实现资源的高效管理。

5. 展望与倡议

• 算力池化技术趋势：随着AIGC（AI生成内容）技术的成熟，对智能算力的需求将呈指数级增长，算力池化将成为主流解决方案。
• 中国移动倡议：
  • 联合开展关键技术攻关，包括异构算力集中调度、池化运行时、算力敏捷化管理等。
  • 推动算力池化标准体系建设，实现跨平台兼容。
  • 打造开源算力池化平台，推动产业生态繁荣。

总结

算力池化技术是提升智算中心资源利用率、降低TCO的关键手段。其核心在于通过软件定义的方式，实现资源的动态分配、跨节点调用、超分与碎片整合，从而满足多样化AI任务需求。当前，业界已有多家厂商推出相关技术方案，中国移动也在积极推进算力池化平台的建设与标准化，呼吁产学研合作，共同推动算力池化技术发展，构建统一高效的算力网络生态。