20260430-中金公司-中金_Cloud_Next_26_TPU_v8发布_芯片及网络的精益化再升级_13页_2mb

中金 | Cloud Next 26：TPU v8发布，芯片及网络的精益化再升级

核心内容总结

Google在Cloud Next 26大会上发布了第八代自研AI芯片TPU 8t和TPU 8i，标志着训练与推理芯片首次实现独立设计，体现出AI硬件基础设施向精益化分工演进的趋势。这一变化反映了大模型负载特征的分化，训练侧重吞吐与扩展，推理侧重缓存与通信效率。

主要观点

• TPU 8t 面向大规模训练，通过更平衡的VPU/MXU设计、原生FP4支持、Virgo网络架构及TPUDirect RDMA/Storage技术，旨在提升训练集群的计算周期利用率和数据通路效率。
• TPU 8i 面向低延迟推理与Agent工作流，通过384MB片上SRAM、288GB HBM、CAE（集合通信加速引擎）及Boardfly拓扑架构，提升KV Cache命中率和推理并发服务能力。
• 网络架构升级：TPU 8t采用Virgo网络，scale-out带宽提升4倍，scale-up带宽提升2倍；TPU 8i采用Boardfly架构，最大通信跳数从16降至7，通信延迟显著优化。
• 存储优化方向：TPU v8系列强调低延迟访问与存储带宽提升，TPUDirect RDMA/Storage技术绕过CPU中介，直接连接HBM与存储系统，提升数据供给效率。
• 系统级效率提升：TPU 8t在训练场景下每美元性能提升2.7倍，每瓦性能提升2倍；TPU 8i在推理场景下每美元性能提升80%，每瓦性能提升2倍。

关键信息

1. TPU 8t核心特性

• 芯片设计：单Die，216GB HBM，6.528TB/s HBM带宽。
• 计算单元：更平衡的VPU/MXU设计，减少向量算子执行暴露时间。
• 网络架构：Virgo架构，两层无阻塞拓扑，单Fabric支持13.4万颗TPU，逻辑集群可达超100万颗TPU。
• 存储技术：TPUDirect RDMA/Storage，绕过CPU中介，提升存储访问速度10倍。
• 经济性提升：训练每美元性能提升2.7倍，每瓦性能提升2倍。

2. TPU 8i核心特性

• 芯片设计：双Die，288GB HBM，8.601TB/s HBM带宽。
• 缓存设计：384MB片上SRAM，约为前代的3倍，提升KV Cache命中率。
• 通信架构：Boardfly架构，支持scale-up场景，通信跳数减少，延迟降低50%。
• 集合通信优化：引入CAE，专门处理多芯片协同的集合通信任务，降低延迟5倍。
• 经济性提升：推理每美元性能提升80%，每瓦性能提升2倍。

3. 系统存储与网络

• 存储方向：强调低延迟访问，TPUDirect RDMA/Storage与Managed Lustre等并行存储方案提升数据吞吐能力。
• 网络升级：TPU 8t采用OCS交换机，Jupiter架构提升前端存储与计算资源互联；TPU 8i在Boardfly架构第三层使用OCS全连接，带来额外1.25倍1.6T光模块配比。
• 光模块配比：TPU 8i单Pod对应约1.25个1.6T光模块，光通信在AI推理场景中占比提升。

产业链投资方向

• 光通信：AI光通信技术仍是长期发展方向，尤其是光模块与TPU的配比提升。
• 芯片定制服务：TPU v8系列的复杂架构设计对晶圆代工合作伙伴提出更高工艺要求。
• 存储：HBM、SRAM、并行文件系统、RDMA网卡等高性能存储技术将受益于TPU架构升级。
• 晶圆代工：支持TPU v8系列的先进制程和封装技术是关键。

风险提示

• 量产进度不及预期：TPU v8系列的芯片量产爬坡可能面临挑战。
• AI模型迭代速度：大模型训练和推理需求的变化可能影响TPU硬件的适用性。

总结

Google通过TPU v8系列的发布，标志着AI芯片从统一式设计向训练与推理分路演进。TPU 8t与8i分别针对训练和推理场景进行优化，提升系统效率与性能表现。TPU 8t强化计算单元与存储数据通路，TPU 8i则优化缓存与通信架构，以满足低延迟推理需求。同时，网络架构与存储技术的升级进一步推动AI基础设施向“低延迟、高带宽、高效率”方向发展，光通信与存储去中介化成为重点方向。未来，AI ASIC架构将更注重系统级优化，光通信与存储技术有望成为投资主线。