> **来源：[研报客](https://pc.yanbaoke.cn)** # 100MW 超大规模AI数据中心架构蓝图总结 ## 核心内容 本文档提出了一个适用于UL市场的100MW级超大规模AI数据中心的参考架构蓝图。该架构以NVIDIA GB200 NVL72平台为核心，结合西门子工业级电气系统与nVent液冷技术，旨在实现快速部署、高能效与高可用性。 该架构采用**Tier III级可并行维护设计**，支持模块化部署，具备灵活扩展性，适用于全球分布式站点。其核心目标包括： - 提高部署投产速度 - 提升每瓦Token产出 - 实现运行连续性与系统韧性 - 支持下一代算力平台（如NVIDIA GB300 NVL72）的部署 ## 主要观点 ### 1. **高密度计算需求** - 单机架功率密度已突破100kW，NVIDIA GB200 NVL72机架额定功率为127kW，支持高密度AI算力部署。 - 需要重新设计电力系统以满足高功率密度需求，采用高电压供电方式，并通过智能负载均衡提升系统效率。 ### 2. **模块化与可扩展性** - 采用**Pod级模块化架构**，每个Pod包含约16个服务器机柜、若干辅助机柜及冷却分配单元。 - 模块化设计支持分阶段建设，可灵活扩展至更高算力密度的下一代系统（如GB300 NVL72）。 ### 3. **高效冷却方案** - 采用**ASHRAE W32-W45温水液冷**技术，满足高密度热负载散热需求。 - 冷却分配单元（CDU）采用双路冗余供电，支持N+1冗余架构，确保冷却系统在单点故障时仍可运行。 - 每台CDU800可提供544kW制冷能力，支持1.63MW的IT液冷热负载。 ### 4. **高可靠性电力系统** - 电力系统采用**4取3冗余模型**，确保在维护或故障情况下系统仍可运行。 - 每个机架配备8路电源，支持N+1冗余架构，确保电力供应的稳定性。 - 低压配电采用415VAC，通过母线槽和插接箱实现灵活的电力分配与扩展。 ### 5. **智能自动化与控制** - 集成**IDCMS（集成数据中心管理套件）**，实现对服务器、网络及基础设施的统一监控与管理。 - 支持与NVIDIA Mission Control深度集成，实现可视化与集中管控。 - 自动化控制层采用PLC可编程控制器，结合分布式远程I/O模块，实现对HVAC系统与液冷系统的高可靠控制。 - 智能网关负责机柜级遥测与控制，支持快速响应与自动隔离机制，保障系统连续运行。 ### 6. **全球部署与可持续性** - 考虑不同地理气候条件，通过智能、自适应系统架构实现能源利用优化。 - 支持自然冷源利用，降低PUE（电源使用效率），提升能效表现。 - 有助于实现企业可持续发展目标，包括碳排放减少与区域能效标准达标。 ## 关键信息 ### 技术规格概览 | 参数 | 技术规格 | 说明 | |------------------|--------------------------------------------------------------------------|----------------------------------------------------------------------| | 计算密度 | NVIDIA GB200 NVL72 机架 127kW；支持机架14kW功率 | 采用液冷GPU机架，实现高密度AI算力部署 | | Pod IT负载 | 每32机架2,256kW（服务器与网络）机柜 | 单个模块化机柜的IT总负载 | | 总机架数量 | 640个服务器机架（约100MW） | 全部机柜完整部署后的总容量 | | 冗余等级 | Tier III级可并行维护等级 | 支持并行维护与故障隔离 | | 冷却策略 | ASHRAE W32-W45温水液冷 | 最大化自然冷却小时数和效率，减少机械制冷依赖 | | 供电韧性 | 4取3冗余架构，N+1 / Tier III UPS | 提供高可用性与电力连续性，支持并行维护与故障隔离 | | 未来可扩展性 | 机柜级模块化设计 | 支持下一代更高算力机架部署，如NVIDIA GB300 NVL72系统 | ### 系统架构组件 - **主配电柜**：4×415V, 3000A，用于Pod机柜单元的主电源输入与配电。 - **母线槽**：每列4路架空母线槽，用于电力传输。 - **母线插接箱**：每个插接箱支持1-4个断路器，间距2英尺，便于灵活扩展。 - **网络机架**：2×30A断路器，双馈线供电。 - **NVL72机架**：8个电源架（N+1冗余），支持127kW负载。 - **冷却分配单元（CDU）**：CDU800，支持4路馈线回路，可扩展至4台CDU800以提升冗余等级。 ## 部署与扩展建议 - 建议基于本蓝图进行数据中心的规划、扩展与优化。 - 适用于新建或升级现有AI数据中心，实现高性能、节能型运营。 - 可支持全球分布式部署，适应不同气候条件下的能效优化需求。 ## 附录术语与定义 - **母线槽与母线插接箱**：用于电力传输的架空式系统，支持模块化接口与断路器。 - **冷却分配单元（CDU）**：液冷系统核心设备，负责冷却液分配与热量回收。 - **NVIDIA GB200 NVL72**：配备72块GPU，采用直达芯片液冷技术，单机柜功率密度约120kW。 - **Pod机柜单元**：独立模块化单元，包含IT机柜、辅助机柜及CDU。 - **PUE（电源使用效率）**：数据中心总能耗与IT设备能耗之比，数值越低表示能效越高。 - **IT机柜**：包含服务器与网络设备的组合单元。 ## Tier分级体系 | Tier | 定义 | |------|----------------------------------------------------------------------| | Tier I | 基础容量，无冗余，任何维护或故障均会导致停机。 | | Tier II | 部分冗余组件，如备用UPS或冷却设备，仍采用单一路径配电。 | | Tier III | 多路径配电及冗余组件，允许在不中断IT运行的情况下进行维护。 | | Tier IV | 完全冗余，两路动态供电与冷却路径，确保在非计划性故障时仍可连续运行。 | ## 总结 该架构蓝图通过模块化、冗余设计与智能自动化，为100MW级超大规模AI数据中心提供了高效、可靠、可扩展的解决方案。其核心优势在于： - 快速部署与高可用性 - 优化能源效率，降低PUE - 支持全球部署，适应不同气候条件 - 提升系统韧性与运维效率 - 为未来算力升级预留扩展空间 该架构为AI基础设施的规模化建设提供了清晰的技术路径，有助于企业在AI算力需求增长的背景下，实现更高效的算力交付与运营。