20260605-国投证券-_行业_Rubin_SOCAMM_下调背后_英伟达开始给_AI_机柜算细账_3页_100kb

英伟达Rubin SOCAMM下调背后：AI机柜成本与性能的系统级优化

核心内容概览

英伟达在最新发布的Rubin NVL72 AI机柜中，对Vera CPU的SOCAMM（System-on-Chip Attached Memory）容量进行了下调，从原本的1.5TB降低至768GB。这一调整并非针对GPU算力，而是聚焦于整机柜的CPU侧内存缓冲池优化，反映出英伟达在AI服务器设计中更加注重系统级成本控制与性能平衡。

主要观点

• SOCAMM的作用：SOCAMM是AI机柜中CPU侧的重要组件，负责数据搬运、系统调度、KV cache管理等任务，起到缓冲层和中转站的作用，而非直接参与GPU的矩阵计算。
• 性能与成本的权衡：SOCAMM的容量调整意味着整机柜的CPU侧内存缓冲池变小，但这并不直接影响GPU的峰值算力，而是影响高并发、长上下文推理场景下的系统效率与响应速度。
• 供应链与交付瓶颈：高容量SOCAMM模块（如192GB SOCAMM2）仍处于量产爬坡阶段，若满配可能导致整体交付延迟。因此，英伟达选择在默认配置中减少SOCAMM容量，以确保供应链稳定和规模化交付。
• TCO优化：随着AI集群规模扩大，客户对GPU-hour的总拥有成本（TCO）更加敏感。SOCAMM的下调有助于降低单柜成本，提升整体性价比。
• 客户需求差异化：并非所有客户都需要顶配SOCAMM，多数企业推理任务仍以短上下文、多租户、RAG等为主，因此降低SOCAMM容量对部分场景影响有限。

关键信息

01- 配置调整带来的成本与性能影响

• SOCAMM容量调整：每颗Vera CPU的SOCAMM从1.5TB降至768GB，整柜容量从约55TB降至约28TB。
• 单柜成本下降：单rack成本从约760万美元降至680万美元，降幅约10.5%。
• TCO优化：GPU-hour TCO从4.16美元降至3.90美元，降幅约6.3%。
• 对客户的影响：在大规模部署中，TCO的微小变化会累积为显著的成本差异。

02- SOCAMM对推理体验的影响

• KV cache管理：推理过程中，KV cache占用大量内存，SOCAMM作为CPU侧缓冲池，承担次热数据的存储与处理。
• 三层数据存储策略：
  • Hot：HBM，速度快但容量有限；
  • Warm：SOCAMM，容量更大，适合中等热度数据；
  • Cold：NVMe SSD，容量最大但速度最慢。
• 性能瓶颈：SOCAMM容量减少可能导致系统在高并发、长上下文场景下出现延迟或吞吐量下降。

03- 英伟达下调SOCAMM的原因

1. 供应链稳定性：高容量SOCAMM模块仍处于量产爬坡阶段，降低默认配置有助于缓解交付压力。
2. TCO优化：客户更关注单位token产能的成本，SOCAMM容量减少有助于提升整体性价比。
3. 客户需求分层：并非所有客户都需要顶配SOCAMM，多数场景对内存需求有限，因此无需满配。

04- 系统级优化趋势

• 从单卡到整机柜：Rubin NVL72强调rack-scale架构，将GPU、CPU、NVLink、DPU等整合为统一计算单元。
• 系统BOM管理：NVIDIA开始从整体系统成本角度出发，对各个组件进行取舍，以实现更高效的部署与运营。
• 性能与成本平衡：通过保留HBM4作为GPU热数据存储，SOCAMM作为中等热度数据缓冲，NVMe处理冷数据，形成层次化架构。

05- 对DRAM市场的影响

• DRAM需求减少：若Rubin NVL72出货10万个rack，每个rack减少约27TB SOCAMM，对应DRAM需求减少约2.7EB。
• 市场格局变化：SOCAMM的普及可能改变DRAM在AI服务器中的需求结构，从“每柜55TB”转向“基础28TB，高端可扩展”。
• 内存厂商机遇：SOCAMM的稳定量产与成本控制将成为内存厂商在AI服务器市场的重要突破口。

总结

此次SOCAMM的调整是英伟达在AI服务器设计中的一次系统级优化，旨在提升整机柜的性价比与交付能力。它标志着AI服务器从单纯追求算力向整体系统成本管理转变，同时为内存厂商提供了新的市场机会。未来，SOCAMM的规模化应用将对AI推理性能和成本结构产生深远影响。