紫金山实验室：2023算网操作系统白皮书-

算网操作系统与东数西算白皮书总结

版权声明与编写说明

1. 版权归属：网络通信与安全紫金山实验室及其合作单位。
2. 转载要求：注明来源，否则将追究法律责任。
3. 主要编写单位：网络通信与安全紫金山实验室、北京邮电大学。
4. 参与编写单位：江苏省未来网络创新研究院。

---

前言

算力是数字经济的“心脏”，网络是“血管”，二者的有机协同对数字经济健康运转至关重要。传统技术体系下，算力与网络难以实现深度协同，导致“貌合神离”的问题。算网操作系统旨在通过分布式思想实现算力与网络的融合，支持端到端服务质量保障，是构建“全国一台超级计算机”的关键技术。

---

一、业务侧与资源侧发展趋势

云原生与Serverless

• 云原生：通过容器、微服务等技术实现应用弹性扩展，已成为行业标准。
• Serverless：用户按需使用资源，无需管理基础设施，实现动态伸缩。

分布式云（算力网）

• 目标：用户像接入Wi-Fi一样就近访问算力。
• 核心问题：解决跨云API互通和算力集群间网络连接。

---

二、算网操作系统总体架构

定义演进

• 算网操作系统：跨广域分布式操作系统，实现算力与网络联合调度。
• 分布式系统分代：
  • I类：基础分布式系统（如Hadoop）。
  • II类：全局资源调度系统。
  • III类：透明分布式操作系统（如算网操作系统）。

物理结构

• 算网协同网关：连接算力与网络，感知服务标识（Service ID）。
• 算网协同调度引擎：实现算力与网络资源统一调度。

逻辑功能

• 四大子功能：协同调度、闭环监控、资源管理和标识治理。

---

三、算网操作系统基础理论

资源抽象与建模

• 算力资源：节点（资源量、供需关系、时空属性）。
• 网络资源：链路（带宽、时延、抖动）。
• 算网拓扑：资源动态接入与统一视图。

业务抽象与建模

• 业务应用：沙箱为最小单元，声明算力需求与预期状态。
• 业务流量：以服务标识为粒度，定义网络需求。
• 业务蓝图：整合应用与流量建模，实现全局调度。

调度框架与建模

• 定性与定量调度：分别处理资源筛选与能力匹配。
• 算网协同调度模式：
  • 先应用后流量。
  • 先流量后应用。
  • 应用流量联合调度。

---

四、算网操作系统工作原理

资源统一管控

• 注册纳管：校验资源参数后统一接入。
• 动态维护：实时调整资源状态与拓扑。

需求联合声明

• 业务部署接口：通过蓝图联合声明算力与网络需求。
• 服务访问接口：服务定制网络API动态触发调度。

算网协同调度

• 输入：业务蓝图、资源拓扑及运行状态。
• 输出：满足服务质量的分发与转发方案。
• 机制：应用调度与流量调度协同，支持动态调整。

---

五、东数西算与算网操作系统

核心能力

• 资源使用方：单点式登录、声明式需求。
• 资源提供方：多样化形态注册、可信分账。
• 平台调度方：确定性服务、弹性化并发、灵活性结构。

应用场景与建模

• 通算业务：云边协同、跨域流量调度。
• 智算业务：分布式训练（数据并行）。
• 超算业务：高性能计算与集合通信优化。

---

六、未来展望与挑战

技术演进

1. 原生系统调用接口：解决分布式透明性问题。
2. 存算分离：构建无服务器数据中心。
3. 光电融合广域网：刚性与柔性协同。

长期挑战

1. 异构算力驱动：统一编译与运行时支持。
2. 统一数据建模：跨集群数据中间件。
3. 智能代码编译：静态+动态混合优化。

---

附录

• 术语缩略语：云原生、分布式云、SLA、FaaS等。
• 参考文献：CNCF及部分标准文档。