中国移动-以太无损网络测试方法学-2020.11-27页_997kb

中国移动通信有限公司研究院 - 以太无损网络测试方法学总结

核心内容

本测试方法学由中国移动通信有限公司研究院联合多家单位共同编写，旨在为以太无损网络（尤其是基于RoCEv2技术）的性能和可靠性测试提供系统化的指导。文档重点围绕无损网络测试需求、测试拓扑、测试参数、测试指标和测试方法展开，适用于数据中心等高性能网络环境。

主要观点

• 以太无损网络的重要性：随着高性能计算、存储、AI等应用对网络性能要求的提升，传统以太网“尽力而为”的传输模型已无法满足需求，需引入PFC、ECN、DC-QCN等流控技术实现无损转发。
• 测试方法学的优势：通过专用测试仪表进行测试，相比传统方法更节省成本、提高可重复性与测试精度，适用于实际业务场景的仿真测试。
• 测试内容全面：涵盖基本转发性能、RoCE性能、混合流量性能、可靠性等多个方面，以评估网络在不同负载和组网下的表现。
• 指标体系完善：定义了包括吞吐量、时延、抖动、丢包率、乱序包、均衡性、收敛速率、收敛性能比、平稳性等关键指标，用于评估网络性能与可靠性。

关键信息

1. 测试需求

• 网络配置和性能对系统整体性能影响显著。
• 需关注**流控技术（PFC、ECN、DC-QCN）**带来的可靠性和稳定性。
• 测试应覆盖组网拓扑、参数设置、性能指标、管理特性、可靠性等多方面。

2. 测试拓扑

• 直连拓扑：用于基准测试，测试交换机基本性能。
• 性能拓扑：包括1:1、M:1、M:N等场景，适用于典型组网，如leaf-spine架构，支持收敛比1:1、2:3、1:2、1:3等。

3. 测试参数

• 交换机配置参数：包括接口类型（25G、40G、100G等）、QoS优先级（CS6、EF、BE）、流控方式（PFC、ECN、DC-QCN）等。
• 测试流量参数：
  • 帧长：64B-9000B（无状态流量）或8B-1MB（有状态流量）。
  • 测试时长：30秒至1800秒，也可延长至7×24小时。
  • QP数量：无状态流量16-4096，有状态流量16-8192。
  • 流量比例：无损/有损流量比例为1:9、3:7、1:1、7:3、9:1等。

4. RoCE性能测试指标

无状态性能指标：

• 静态时延：无拥塞时的单个数据包处理时延。
• 动态时延及抖动：拥塞情况下的时延及抖动，包括尾部时延。
• 吞吐量（Throughput）：测试帧长下的最大转发速率。
• 丢包率：在不同负载情况下的丢包比例。
• 乱序包数量/速率/比例：反映网络数据包的顺序性。

有状态性能指标：

• 业务吞吐量（Goodput）：实际有效业务流量速率。
• 业务速率（APS/JPS）：每秒处理的Action或Job数量。
• 动态时延及抖动：拥塞下的业务时延和抖动。
• Action/JOB完成时间：反映网络处理效率。
• Action/JOB失败率：反映网络传输可靠性。
• 乱序包数量/速率/比例：反映业务数据完整性。

其他评价指标：

• 均衡性：各节点动态吞吐量与平均吞吐量的比值。
• 收敛速率：网络故障后恢复流量的速率。
• 收敛性能比：恢复后性能与原始性能的比值。
• 平稳性：带宽波动程度，通过CNP速率差值评估。

测试方法

1. 基本以太性能测试

• 转发吞吐量测试：使用RFC 2544标准，测试设备在不同帧长下的吞吐能力。
• 转发时延测试：测试设备的静态时延和抖动，使用RFC 2544标准。
• 缓存容量测试：模拟微突发流量，测试设备缓存能力。
• RDMA读写微突发测试：评估设备对突发流量的处理能力。

2. RoCE转发性能测试

• 无状态RoCE流量M to N测试：
  • 测试不同流控配置（无流控、ECN、PFC、ECN+PFC）下的性能。
  • 包括吞吐量、时延、抖动、丢包率、乱序包等指标。
• 有状态RoCE流量M to N测试：
  • 测试Action/JOB完成时间、失败率、业务速率等指标。
• 有状态应用场景测试：
  • 高性能存储和计算场景下的JOB模型测试，用于模拟实际业务流量。

3. 混合流量性能测试

• 无状态混合流量（RoCE + UDP）测试：
  • 模拟无损与有损业务共存的场景。
  • 测试吞吐量、时延、抖动、丢包率等。
• 有状态混合流量（RoCE + TCP）测试：
  • 模拟实际业务混合场景。
  • 测试Goodput、时延、抖动、乱序包、均衡性等。

4. 可靠性测试

• 链路故障收敛测试：
  • 模拟链路断开与恢复，评估网络的收敛性能。
• 节点故障收敛时间测试：
  • 模拟节点故障，测试网络恢复时间及性能。
• PFC死锁与风暴测试：
  • 验证PFC机制的死锁避免和风暴监测能力。

测试结果呈现

• 所有测试结果均以表格形式展示，包括：
  • 测试拓扑、帧长、QP数量、流量比例等配置信息。
  • 吞吐量、时延、抖动、丢包率、乱序包等性能指标。
  • 均衡性、平稳性、收敛速率、收敛性能比等可靠性指标。

结论

本方法学为以太无损网络的测试提供了系统性框架，适用于RoCEv2、TCP、UDP等多类流量的测试，涵盖性能、可靠性、稳定性等多个维度，具有高精度、高可重复性和可扩展性，有助于指导网络设备选型、组网设计与运维优化。