字节跳动_GPU_Scale-up_互联技术白皮书_24页_4mb

总结：GPU架构与Scale-up互联方案分析

随着AI和机器学习发展，GPU集群的需求增加，要求更高数据处理能力、更大模型训练和更多并发任务。Scale-up网络规模需扩大至机架级甚至多机架级。以太网技术优势包括高速链路、大容量交换机和成熟生态。字节跳动EthLink协议提供了低延迟、高带宽的下一代Scale-up网络方案。

GPU架构采用Load-Store语义，计算引擎处理数据，LSU（Load-Store单元）负责数据传输，可优化并行性。新型GPU增加了TMA（Tensor Memory Accelerator），减少计算引擎算力消耗，用于大块数据传输。

互联方案包括Scale-up网络（如PCIe、NVLINK、EthLink，支持Load/Store语义）和Scale-out网络（如IB、RoCEv2，支持RDMA语义）。下一代Scale-up网络需整合Load/Store和RDMA语义，以支持小块数据高效传输和大块数据低消耗传输。需求包括优化Cache一致性、负载均衡和接口简洁性。

EthLink是字节跳动自研协议，基于以太网，支持Load/Store和RDMA语义，用于GPU集群高速互联。其协议栈包括Scale-up语义层和Scale-up网络层，使用RLR和CBFC实现可靠传输，优化报文格式以减少开销。网络拓扑支持多协议栈和负载均衡，Layer 2报文头使用OEFH提高效率和兼容性。

总之，EthLink通过整合以太网优势和定制优化，解决了AI集群中GPU互联的挑战，提升网络性能和资源利用率。

字数：482。