驱动人工智能_支撑数据中心的半导体生态系统_45页_6mb

报告摘要

人工智能（AI）的快速发展依赖于半导体技术的持续创新。本文探讨了AI基础设施中半导体芯片的生态系统，分析了AI数据服务器内部的芯片组成及其在AI训练和推理工作负载中的作用。半导体不仅是AI系统的基础硬件层，还在AI服务器中占据主要价值，是推动AI发展和数据中心建设的关键因素。

AI芯片可以分为以下几类：

AI加速器：包括GPU、FPGA、ASIC等，用于执行大规模并行计算，提高AI训练和推理的效率。
- GPU：目前仍是AI训练和推理的主要平台，具备极强的并行处理能力。
- FPGA：可编程逻辑芯片，适用于需要灵活配置的AI任务。
- ASIC：专用集成电路，如Google的TPU和Amazon的Inferentia，优化特定AI计算任务。
- NPU：专为神经网络任务设计，具有极高的能效比。
内存芯片：包括HBM、DRAM、SRAM、NAND等，用于支持高速数据访问和处理。
- HBM（高带宽内存）：与AI加速器共封装，通过TSV（硅通孔）技术实现高速数据传输，是AI训练和推理的关键组件。
- DRAM：用于系统内存，支持CPU和AI加速器的快速数据访问。
- SRAM：用于缓存，提供低延迟访问。
- NAND：用于非易失性存储，支持大规模数据存储。
电源管理芯片：包括VRMs（电压调节模块）和PMICs（电源管理集成电路），用于高效地分配和管理电力，确保系统的稳定运行。
网络芯片：如NIC、IPMI控制器、Switch ASICs等，负责数据传输和系统管理，是AI数据中心互联的关键。
冷却芯片：如CDU（冷却分配单元）和PDU（电源分配单元），用于高效散热和电源管理，支撑大规模AI计算。

AI数据服务器由多个子系统（trays）构成，每个子系统包含不同的半导体组件：

计算子系统（Compute Tray）：是AI服务器的核心，包含计算板、AI加速器、系统内存、网络接口卡（NIC）、数据处理单元（DPU）等。
- 通常包含 4,000个芯片，价值在 $1.5M - $3.5M 之间。
- 每个计算板结合了AI加速器、CPU、内存等，支持高密度并行计算。
电源子系统（Power Tray）：负责电力的分配和管理，包含PSU（电源单元）、PSMM（电源管理模块）等。
- 通常包含 600个芯片，价值在 $50,000 - $290,000 之间。
网络与IPMI子系统（Network & IPMI Tray）：提供远程管理和高速网络连接，包含BMC（基板管理控制器）、OOB（带外）开关、IB（带内）开关等。
- 通常包含 ~100个芯片，价值在 $17,000 - $25,000 之间。
冷却子系统（CDU Tray）：通过液体冷却系统维持服务器稳定运行，包含冷却分配单元（CDU）。
- 通常包含 ~10个芯片，价值在 $15,000 - $30,000 之间。
加速器互连子系统（Accelerator Interconnect Tray）：连接多个AI加速器，提供高带宽、低延迟的通信。
- 通常包含 ~70个芯片，价值在 $10,000 - $50,000 之间。