全调度以太网技术架构白皮书-1-22页_1mb

全调度以太网技术架构白皮书总结

1. 背景与需求

• 驱动因素： AI大模型（如AIGC）发展迅猛，训练数据量和计算规模呈指数级增长，对智算中心网络提出“无阻塞、高带宽、超低时延”的新要求。
• 痛点： 传统以太网在大规模分布式训练场景下易受阻塞、负载不均和长尾时延影响，导致训练效率下降。
• 需求目标： 打造新型智算中心网络，支撑AIGC等高性能业务快速发展，要求高性能、低时延、无拥塞。

2. GSE网络架构概述

• 核心理念： 全调度以太网结合以太网优点，满足AI/HPC场景的高性能通信需求。
• 三层架构：
  • 控制层： 包含集中式GSOS提供全局策略与管理，以及分布式设备端NOS处理自身网络功能。
  • 网络层： 由GSP（边缘处理）与GSF（核心交换）协作，实现全局流量调度、负载均衡和精细反压。
  • 计算层： 提供计算能力（GPU/DPU），初期优化网络能力，未来将与网络深度融合。
• 设备角色：
  • 计算节点：提供算力。
  • GSP：网络边缘节点，负责流量接入、调度和排序。
  • GSF：网络核心节点，扩展网络规模，参与调度与反压。
  • GSOS：集中式操作系统，提供全局管控和运维能力。
• 架构特性：
  • 灵活扩展： 支持万卡集群部署，可通过增加GSF层级进行扩展。
  • 生态开放： 构建开放协议栈，支持多厂家设备互通，兼容标准以太网硬件。
  • 硬件通用： GSP/ GSF基于一体化以太网硬件，角色可软件定义，易于部署维护。

3. 关键技术特征与核心技术

• 兼容以太网技术： 基于现有PHY/MAC标准，保持以太网兼容性，采用完整以太报文传输，在增长管控和运维系统上重用现有工具。
• 无阻塞网络： 利用动态全局调度队列（DGSQ）技术，连接分布式节点，实现整网最优转发，解决传统转发导致的阻塞问题。
• 提高有效带宽： 通过DGSQ保证流量分配符合出口能力。引入PKTC机制，将报文划分成定长Packet Container (PKTC)，消除传统哈希负载均衡的“哈希极化”和乱序问题，用更短单元进行细粒度调度，提高带宽利用率。
• 优化长尾时延： 将DGSQ调度与高精度负载均衡结合，控制入口流量并均衡网络负载，消除网络路径上的局部拥塞，缩短AI训练的“最后一公里”时延。
• 核心技术（基于PKTC）：
  • PKTC机制： 将报文逻辑封装到固定大小的容器单元。在GSP接收端记录接收报文的PKTC归属和字节数信息。在发送端，基于PKTC转发单元进行授权调度，保证同容器内报文顺序，降低出口解乱序压力。
  • PKTC Header位置： 提供三种信息承载方式：标准扩展头、重定义以太帧 (低兼容性，高效)或协议头扩充。
  • 基于PKTC的负载均衡： 分为动态信息构建（随机选择轻负载链路）和动态路径切换（根据链路状态动态调整PKTC出端口），保证全局负载均衡。
  • 基于PKTC的DGSQ调度： 建立全局视图，用DGSQ替代静态VOQ，在出口端进行授权调度，将流量控制在设备出口或路径带宽之内，防止网络Incast流量拥塞。
  • 精细的反压机制： 针对网络异常，进行最小范围、高精度的反压抑制，优先保护特定目标流量。
  • 无感知自愈机制： 当链路或设备故障/恢复时，网络能自动调整，基于PKTC平衡技术维持调度稳定性，不依赖端到端业务感知。
  • 低时延转发技术： 通过简化转发流程、并行处理、旁路无误码报文校验码FEC处理，有效减少接口时延（包括采用FlexFEC自动适配误码率的FEC技术）。
  • 全调度以太网操作系统（GSOS）： 汇聚“全局控制器”+“分布式的设备操作系统NOS”，采用带内控制管理通路（数据平面转发同时承载管理流量），提供灵活服务和集中监控。

4. 组网应用与演进展望

• 应用场景： 主要面向智算中心，提供无损、高带宽、超低时延的新型网络。
• 演进方向：
  • 独立端到端智算网络方案： 网络侧运行GSE，网卡侧无感知协同；或网卡侧能力提升，GSE功能可在两端运行。
  • 端到端协同： 利用计算节点靠近业务侧的优势，从业务源头调度流量，实现更精细化的网络控制。

总结要点

全调度以太网（GSE）是中国移动提出的创新技术，旨在解决AI大模型训练等高性能计算场景下的网络瓶颈。其核心技术在于利用PKTC报文容器机制和创新的DGSQ全局队列调度，配合精细反压、无感知自愈等手段，贯穿控制、转发、保护各层面，构建开放、兼容、高效的全调度网络架构，最终目标是实现智算中心网络底座的无阻塞、高带宽、低时延。