2024-02-16-中国移动研究院-2023分布式异构智能算力的管理和调度技术研究报告_26页_1mb

分布式异构智能算力的管理和调度技术报告总结

1. 研究背景

本研究背景源于数字经济的增长，算力作为基础设施对数字化转型至关重要。中国智能算力规模快速增长，到2023年增速达72%，对异构算力的协同与调度需求激增，重点研究跨数据中心的异构算力资源管理和调度，提升整体利用率。

2. 异构算力的发展和应用场景需求

异构算力涉及多种类型如GPU、APU、TPU、FPGA、ASIC和DPU，发展迅速，由英伟达、AMD、Google等推动。应用场景包括机器学习、高性能计算、图形渲染、物联网和区块链，需求多样化，行业如互联网占最大份额。挑战包括异构节点间的调度壁垒和应用迁移问题。

3. 分布式异构算力管理和调度的关键技术

关键技术包括：

• 虚拟化和池化：如MIG和vGPU技术，实现资源切分、细粒度分配和API劫持，提高利用率。
• 调度能力：基于Kubernetes的调度策略（Gang、网络拓扑、优先级等），应对异构节点协同挑战。
• 度量和标识：标准化指标评估算力性能，并开发统一接口支持调度和溯源。

4. 当前业界技术实现情况

产业界已实现三平台方案：

• 中国移动：基于云底座和容器技术，实现异构资源池化，支持跨节点调度和超分。
• 浪潮AIStation：提供统一资源管理，支持多种调度策略如GPU共享和数据集亲和性。
• 新华三傲飞：集成AI和HPC管理，支持多样性调度策略和细粒度资源约束。

5. 总结与展望

分布式异构算力管理和调度能释放硬件资源潜能，但面临度量标准化、异构应用适配和开放生态建设的挑战。未来需推动技术统一、生态融合以赋能智能算力产业可持续发展。