智能无损网络（HPC场景）（在线阅读版）_74页_1mb

智能无损网络（HPC场景）文档总结

核心内容概述

本书《智能无损网络（HPC场景）》由华为技术有限公司的陈乐主编，主要介绍了华为智能无损网络解决方案在HPC高性能计算场景中的应用。随着5G、AI等技术的发展，数据中心正向算力中心演进，对网络性能提出了更高的要求，特别是高吞吐和低时延。为了满足这些需求，传统TCP/IP协议栈被RDMA（Remote Direct Memory Access）技术替代，而RoCEv2成为承载RDMA的主流协议。然而，RoCEv2对丢包非常敏感，因此需要无损以太网技术保障其性能。

主要观点

• HPC网络需求：HPC业务对网络提出了高吞吐和低时延的双重需求，传统的以太网无法满足，因此需要智能无损网络技术。
• 从TCP到RDMA：RDMA通过直接内存访问机制，显著降低协议栈时延和CPU占用率，但其对丢包敏感，需无损网络支持。
• 从IB到RoCE：RoCE作为基于以太网的RDMA协议，成本低于InfiniBand（IB），且支持标准以太网交换机，是大规模部署的首选。
• 无损网络技术：包括基于端口的流量控制（如PAUSE帧、PFC）、基于流的拥塞控制（如ECN、AI ECN、DCQCN、iQCN）和流量调度（如动态负载分担、大小流区分调度）。
• 网络运维：以太网具有天然的运维优势，华为提出了基于Telemetry的智能运维技术，用于实时监控和调整网络参数。

关键信息

3.1 智能无损网络技术概览

• 网络自身优化、网络与应用系统融合优化、运维便利性是智能无损网络优化的三个主要方面。
• 流量控制：基于端口的流量控制（如PAUSE帧、PFC）用于解决发送端与接收端速率不匹配的问题。
• 拥塞控制：基于流的拥塞控制（如ECN、AI ECN、DCQCN、iQCN）用于解决网络拥塞问题，实现无丢包、低时延和高吞吐。
• 流量调度：通过动态负载分担和大小流区分调度技术，解决流量不均带来的拥塞问题，提升网络资源利用率。

3.2 智能无损网络技术架构

• 智能无损网络技术架构分为流量控制层、拥塞控制层、流量调度层、应用加速层和运维层。
• 流量控制层：包括PFC、PFC死锁检测和预防技术，用于实现零丢包和避免线头阻塞。
• 拥塞控制层：包括静态ECN、AI ECN、DCQCN和iQCN，用于实现拥塞的智能感知与控制。
• 流量调度层：用于解决业务流量与网络链路的负载均衡问题，实现不同业务的优先级服务。
• 应用加速层：包括网算一体（INC）技术，用于减少服务器间的通信交互次数，提升计算效率。

3.3 基于端口的流量控制技术

• PAUSE帧：用于解决速率不匹配问题，但控制粒度较粗，无法完全防止丢包。
• PFC：基于优先级的流量控制，允许单独暂停和重启虚拟通道，实现零丢包。
• PFC死锁：由于反压机制可能导致的环路阻塞问题，需检测和预防技术解决。
• PFC门限设置：需合理配置ECN门限和PFC门限，避免频繁触发PFC反压，影响网络性能。

3.4 基于流的拥塞控制技术

• ECN：通过标记拥塞报文，通知源端降速，避免丢包，但存在反馈延迟问题。
• AI ECN：利用AI算法动态调整ECN门限，适应网络流量变化，实现最优性能。
• DCQCN：结合QCN和DCTCP，实现拥塞控制，但存在反馈路径过长和入队列标记机制的问题。
• iQCN：通过智能补偿机制，解决CNP反馈延迟问题，避免拥塞加剧。

3.5 流量调度技术

• 动态负载分担：根据流量特征和链路质量动态选择路径，解决等价多路径冲突问题。
• Flowlet机制：将大象流分割为多个Flowlet，实现更均衡的负载分担。
• 大小流区分调度：通过区分大象流和老鼠流，优先调度老鼠流，保障时延敏感业务的性能。

3.6 应用加速技术

• 网算一体（INC）：将部分计算任务从服务器转移到交换机，提升计算效率。
• 性能提升：在HPC场景下，INC技术可使网络性能提升3%~18%，与IB网络性能持平。

3.7 智能无损网络运维

• Telemetry技术：用于远程高速采集网络设备的性能数据，支持智能运维。
• iMaster NCE-FabricInsight：智能分析平台，用于实时监控网络状态，优化配置。

总结

华为智能无损网络技术是为满足HPC场景下的高吞吐、低时延和无丢包需求而设计的。通过引入RDMA和RoCEv2协议，结合PFC、ECN、DCQCN、iQCN等拥塞控制技术，以及动态负载分担和网算一体等应用加速技术，可以实现高性能计算网络的优化。同时，基于Telemetry的智能运维技术为网络的高效管理提供了保障。这些技术的结合，使得无损以太网成为HPC网络的首选解决方案，其在成本、扩展性和运维便利性方面优于传统的InfiniBand网络。