RDMA_Telemetry技术白皮书-6W101-整本手册_19页_707kb

RDMA Telemetry 技术白皮书总结

核心内容概述

RDMA（Remote Direct Memory Access）是一种高速网络互联技术，其设计目标是减少数据传输过程中的处理延迟和 CPU 资源消耗。随着 RDMA 技术的发展，特别是 RoCEv2 的出现，它在通用以太网上实现了 RDMA 的广泛应用，成为智算中心构建高性能计算的重要基础。

RDMA Telemetry 技术是为了满足 RoCEv2 网络的高精度、实时性需求而诞生的网络质量监控技术，旨在实现对 RDMA 网络的全面可视化监控，提升智算中心的网络运维效率和稳定性。

主要观点

1. RDMA 技术发展历程

• InfiniBand 时代：RDMA 技术最初由 InfiniBand Trade Association 提出，具备极低延迟（<1μs）、高吞吐（40Gbps+）和无损网络特性，但因依赖专用设备，难以大规模部署。
• RoCEv2 的出现：解决了 InfiniBand 的封闭性问题，支持跨子网路由和 ECN 等机制，成为现代数据中心的主流 RDMA 协议，具备高性能与良好兼容性。

2. RDMA 与智算中心融合

• 智算中心通常由计算层（GPU 服务器）、网络层（高性能交换机）和存储层（分布式存储）组成。
• RoCEv2 在智算中心中主要用于：
  • 计算平面通信：GPU 间同步（如梯度、参数交换），实现微秒级通信。
  • 存储平面访问：NVMe over Fabrics over RoCEv2，实现 GPU 与存储的低延迟数据读写。

3. RDMA 网络质量监控需求与挑战

• 传统网络监控技术（如 SNMP）无法满足 RoCEv2 的微秒级监控需求，存在以下问题：
  • 精度不足：采样间隔通常在毫秒级，无法捕捉微秒级延迟变化。
  • 检测粗糙：丢包检测依赖软件计数器，无法精确定位。
  • 实时性差：被动轮询方式存在监控盲区，难以实时感知网络问题。

4. RDMA Telemetry 技术的诞生

• RDMA Telemetry 专为 RoCEv2 网络设计，提供以下两大核心功能：
  • I/O 质量可视：测量 GPU 与存储之间的 I/O 读写时延。
  • 吞吐量可视：测量 GPU 之间的写操作吞吐量与丢包情况。
• 通过端到端、分段式实时监控，为高性能数据中心网络提供全面的可视化解决方案。

关键信息

1. RDMA Telemetry 技术优点

• 精准的故障定位能力：将存储路径划分为三段（计算侧、网络路径、存储侧）进行独立监控。
• 实时性能监控：基于硬件级计数器，支持微秒级测量精度，无采样延迟。
• 智能化运维支持：支持自定义告警、异常事件标注、历史数据分析与趋势预测。
• 广泛场景适应性：适配 AI 训练、分布式存储、金融交易等多种场景。

2. I/O 质量可视功能

• 测量对象：NVMe over Fabrics over RoCEv2 的 I/O 读写操作。
• 分段测量：
  • 计算侧：计算节点到交换机的时延（IOL1）。
  • 网络路径：交换机之间的时延（RTT）。
  • 存储侧：存储节点到交换机的时延（IOL2）。
• 测量指标：
  • DPL：计算侧数据准备时延，用于评估数据准备效率。
  • RTT：网络往返时延，用于衡量网络性能。
  • DAL：存储侧数据访问时延，用于评估存储处理效率。
• 读写操作交互流程：
  • 读操作：GPU 发起请求，存储服务器响应并写入数据，最终完成确认。
  • 写操作：GPU 发起写请求，存储服务器拉取数据并持久化，最终完成确认。

3. 吞吐量可视功能

• 测量对象：GPU 之间的 RDMA Write 流量，用于梯度同步等关键通信。
• 测量策略：
  • 全量监控模式：持续监控所有 RoCEv2 流量，适用于资源充足的场景。
  • 轮询监控模式：按周期对部分接口进行监控，适用于大规模部署。
• 核心指标：
  • FCT（Flow Completion Time）：流完成时间，反映通信延迟。
  • FET（Flow Effective Throughput）：流有效吞吐率，反映带宽利用率。
  • FNR（Flow NAK Rate）：流重传率，反映网络可靠性。
• 运行机制：
  • 设备识别 RoCEv2 报文，记录首包和末包时间戳。
  • 统计 NAK 重传报文，区分有效与无效吞吐。
  • 通过 gRPC 上报数据至分析器，实现可视化展示。

4. RDMA Telemetry 可视化

• 与 SeerAnalyzer-DC 配合，实现 RDMA 测量数据的可视化展示。
• 支持：
  • 按主机 IP 或存储 IP 展示 I/O 时延、数据准备时延、数据访问时延等。
  • 查看 I/O 详情和拓扑图，分析时延趋势和网络性能瓶颈。

典型组网应用

1. AI 训练存储网络 I/O 质量监测

• 应用场景：GPU 服务器与存储服务器之间的 I/O 读写操作。
• 测量价值：
  • 快速定位 I/O 性能问题，区分计算、网络、存储各环节责任。
  • 提升跨团队协作效率，提供统一的性能视图和量化数据。
  • 指导基础设施优化，如 CPU/内存扩容、QoS 调整、缓存策略改进。

2. AI 训练计算平面梯度同步性能优化

• 应用场景：GPU 之间的 RDMA 写操作，用于 All-Reduce 等集合通信。
• 测量价值：
  • 实现微秒级时延监控，保障训练效率。
  • 快速定位网络拥塞或 GPU 计算瓶颈，优化通信性能。

总结

RDMA Telemetry 技术通过提供高精度、实时的网络性能监控，解决了传统网络监控技术在 RoCEv2 网络中的不足。它不仅实现了对 I/O 操作和吞吐量的分段式测量，还支持智能化的运维分析和可视化展示，为 AI 训练等高性能计算场景提供了可靠的网络质量保障。该技术在智算中心中具有重要的应用价值，能够显著提升计算效率和资源利用率。