【ODCC】2023中国算力调度发展研究蓝皮书_42页_1mb

中国算力调度发展研究蓝皮书总结

核心内容

《中国算力调度发展研究蓝皮书（2023年）》聚焦算力调度技术的最新研究进展，系统梳理了当前算力调度的概念、技术架构与应用场景，分析了主要厂商的算力调度平台建设情况，为算力调度的未来发展提供了指导性建议。

主要观点

1. 算力调度的重要性
   算力调度是实现算力资源高效利用的关键，特别是在“东数西算”工程背景下，跨区域、跨厂商、跨框架的调度能力成为推动算力网络发展的核心。

2. 算力类型与异构算力
   算力主要包括通用算力、智能算力、超算算力和边缘算力，异构算力通过多种芯片（CPU、GPU、FPGA、ASIC等）协同处理，实现计算效率的最大化。

3. 算力网络与算网融合
   算力网络是一种新型信息基础设施，通过云、网、边、端资源的灵活调度满足业务需求。算网融合是未来发展趋势，其技术重点在于新架构、新协议和新度量体系。

4. 调度技术分类与架构
   算力调度技术可分为跨区域调度、闲置调度、超算调度、边缘调度等类型。调度架构包括统一调度、两级调度、共享状态调度等，每种架构有其特定的应用场景和优势。

5. 算力调度平台现状与趋势
   主要运营商（中国联通、中国电信、中国移动）及企业（中科曙光、华为、浪潮、北鲲云、趋动云）已构建多种算力调度平台，涵盖算力注册、调度、交易、运营等环节，支持多种异构算力资源的统一管理。

关键信息

一、算力调度概述

• 算力分类：通用算力、智能算力、超算算力、边缘算力。
• 异构算力：多种芯片协同，提升计算效率与资源利用率。
• 算力网络：实现资源按需分配与灵活调度，提升算力服务的泛在性与智能化。
• 算网融合：融合计算、存储与网络资源，满足业务对低时延、高可靠性的需求。

二、算力调度技术研究

（一）跨区域算力调度技术

• 采用“算网大脑”进行分层分域管理。
• 调度策略基于多维约束条件，实现资源利用率、成本、能耗等多目标优化。
• 通过专用网络实现跨省资源调度，确保效益最大化。

（二）闲置算力调度技术

• 调度方法：Monolithic、Two-Level、Shared State。
• 集群调度器：包括Kubernetes、Borg、Swarm、Torca、伏羲、Mesos、Yarn、Omega、Apollo、Nomad等。
• 每种调度器适用于不同的调度粒度和业务场景。

（三）超算算力调度技术

• 平台架构：分两层，上层为总部中心调度系统，下层为各省区域调度子系统。
• 主流调度器：LSF、SGE、Slurm、PBS，分别适用于不同行业与场景。
• 调度器具备资源管理、任务调度、租户管理等功能，支持多资源统一调度。

（四）边缘算力调度技术

• 采用轻量化、多集群分级调度架构。
• 基于Kubernetes和K3S实现边缘资源统一调度。
• 调度算法支持业务模型与用户规模双因子估算，以及终端与边缘设备绑定。
• 应用场景包括智能驾驶、视频分析、工业物联网等。

三、现有算力调度平台分析

1. 中国联通

• 算网一体化编排调度平台：实现云、网、边资源统一调度，支持智能算力网关与SDWAN技术。
• 天穹算力运营调度平台：全国首个三算一体平台，支持算力注册、交易、编排、调度、监管。
• 边缘计算平台：支持“东数西算”、“东数西训”等场景，提供跨云调度、混合算力支持。

2. 中国电信

• 甘肃省算力调度平台：打造智能化、绿色低碳的算力基础设施，支持跨域资源调度。
• “息壤”算力分发网络平台：实现全国算力调度，支持AI训练、云渲染、混合云等多场景。

3. 中国移动

• 混合算力感知调度AI平台：支持GPU+CPU+NPU等混合资源调度，提供云-边-端协同架构。
• 实现异构设备管理、用量监控、资源池划分与调度。

4. 中科曙光

• 一体化算力交易调度平台：支持算力注册、交易、调度、运营，覆盖全国多个智算中心。
• 提供弹性计算服务、混合调度、专有计算服务，适用于生命科学、气象环境、工业仿真等领域。

5. 华为

• 公共多样性算力服务平台：支持AI、HPC、大数据等场景，实现资源利用率提升50%-80%。
• 多瑙调度器：支持多集群、多资源的统一调度。
• 元戎：分布式并行开发框架，提升AI开发效率。

6. 浪潮

• AI计算系统及推理平台：提供企业级Cloud-HPC方案，支持私有、云上、混合模式。
• 支持多领域应用，如生命科学、人工智能、科研计算、工业仿真等。

7. 北鲲云

• 一站式云超算平台：整合线上线下资源，提供弹性算力服务。
• 支持多地域、多模式调度，覆盖AI、科研、工业等多个领域。

8. 趋动云

• AI平台：提供全流程AI服务，支持多种算力规格与按需分配。
• 在教育、金融、自动驾驶等领域广泛应用。

四、异构计算调度系统分析

（一）典型异构计算平台

• 阿里云震旦平台：支持异构硬件统一接口规范ODLA，实现AI任务的高效调度。
• 百度百舸平台：集成AI计算、存储、加速、容器等，支持多种AI应用场景。
• FPGA异构计算平台：支持多机系统管理、故障容错，实现低功耗、高可靠计算。

（二）异构AI算力操作平台

• 定义：连接上层算法与底层异构算力，实现资源适配、调度、运营与共享。
• 技术架构：包括硬件支撑平台、适配平台、调度平台与智能运营平台。
• 资源重构：实现异构资源池化，支持灵活调度与智能分配。

（三）异构计算调度技术

• 分布式异构计算调度：支持批处理、流处理与机器学习任务并行处理，Ray系统具有高性能与低延迟。
• 面向FaaS的算网异构调度：结合Serverless架构，实现函数级调度，降低使用门槛。

五、总结

• 算力调度技术正朝着跨区域、跨框架、跨平台、异构融合的方向发展。
• 主要运营商和企业已构建多种算力调度平台，支持不同业务场景和算力类型。
• 异构算力调度技术成为研究重点，如分布式调度和面向FaaS的调度机制。
• 未来算力调度将更加注重异构资源纳管、算力感知与度量、智能调度、数据安全和绿色低碳等方向。