电子行业存储_AI推理带来需求爆发_驱动范式升级_周期能见度大幅拉长_44页_3mb
报告摘要
存储需求与范式改进分析报告
核心内容概述
随着AI推理需求的爆发,存储技术正经历从单一层级向高带宽、大容量、分级管理的协同架构演进。存储不仅是大模型推理的核心瓶颈,而且其性能提升对推理效率和成本控制具有决定性影响。同时,存储与计算的关系由传统解耦逐步走向协同优化。
主要观点
- 存储是AI推理的核心瓶颈:大模型推理过程中,存储需求主要由模型权重、KV Cache、激活值、RAG向量库和Token的长期落盘构成,其中KV Cache是显存占用和带宽消耗的核心因素。
- 存储需求爆发:随着模型参数规模扩大、上下文长度增加和并发请求的提升,推理侧存储需求呈现显著的非线性增长,预计未来在数据中心中,推理存储需求占比将超过训练。
- 存储与计算协同优化:为了应对存储瓶颈,产业界正推进高带宽存储器解决方案(如HBM、WOW 3D堆叠DRAM、HBF)和分级存储管理系统(如CXL内存池化技术、Prefill和Decode的分机柜部署)。
- “以存代算”是必然趋势:提升存储带宽和容量可以显著增强推理性能,降低推理成本,成为AI硬件板块中短期业绩确定性最强的方向。
关键信息
存储需求对比
| 阶段 | 存储需求特征 | 存储介质 |
|---|---|---|
| 训练 | 计算密集型,数据总量可控,但存储容量需求极大 | HDD/SSD(训练数据)<br>HBM/GDDR(模型参数、激活值、梯度)<br>DRAM(扩展内存) |
| 推理 | 延迟敏感型,存储需求由“规模扩张”与“动态波动”共同驱动 | HBM(模型权重+活跃KV Cache)<br>DRAM(非活跃KV Cache)<br>SSD(模型权重副本、索引、冷数据)<br>HDD(长期日志、备份) |
存储需求增长预测
| 年份 | 传统业务(EB) | AI训练(EB) | AI推理(EB) |
|---|---|---|---|
| 2025 | 160 | 40 | 80 |
| 2026 | 210 | 50 | 210 |
| 2027 | 260 | 60 | 390 |
| 2028 | 270 | 60 | 540 |
| 2029 | 300 | 70 | 830 |
| 2030 | 330 | 80 | 1150 |
| 2031 | 360 | 90 | 1480 |
存储瓶颈与性能指标
- 主要瓶颈:存储带宽与访存延迟。
- 关键性能指标:
- TTFT(Time to First Token):首字延迟,由Prefill阶段决定。
- TPS(Token Per Second):生成速度,由Decode阶段决定。
存储优化方案
-
高带宽存储器:
- HBM:HBM3和HBM3e已广泛应用,HBM4已进入量产,预计2027年HBM4E将量产。
- WOW 3D堆叠DRAM:提升带宽,降低延迟。
- HBF:将KV Cache存储于HBF,减轻GPU和HBM的负担。
-
存储分级管理:
- CXL内存池化技术:实现全局共享内存池,支持GPU动态借用内存。
- Prefill与Decode分机柜部署:分离计算密集型与访存密集型任务,提升系统效率。
-
模型优化:
- 量化技术:如INT8、INT4、FP8等,显著降低存储体积。
- 分组查询注意力(GQA)与多查询注意力(MQA):减少KV Cache占用。
- PagedAttention:动态分配KV Cache,提升并发能力。
- Chunked Prefill:分块处理长文本输入,避免显存溢出。
投资建议
- 弹性模组及主控:德明利、江波龙、佰维存储、大普微、联芸科技。
- 存储芯片:兆易创新、普冉股份、东芯股份、北京君正、澜起科技、聚辰股份、恒烁股份。
- 设备:微导纳米、拓荆科技、中微公司、精智达、华海清科、中科飞测、京仪装备、骄成超声、百傲化学、北方华创。
- 光刻机产业链:茂莱光学、汇成真空、波长光电、阿石创、联合化学、富创精密、永新光学。
风险提示
- 长鑫长存产能释放加剧竞争。
- AI CAPEX不及预期。
- 数据更新不及时,模型测算偏差。
存储技术演进趋势
| 技术世代 | 主要供应商 | 主要特点 |
|---|---|---|
| HBM/HBM2 | SK hynix | 基础存储技术 |
| HBM2E | SK hynix, SAMSUNG | 提升带宽 |
| HBM3 | SK hynix, SAMSUNG | 增加容量 |
| HBM3E | SK hynix, SAMSUNG, micron | 更高带宽和容量 |
| HBM4 | SK hynix, SAMSUNG | 量产,带宽>2TB/s,容量36-64GB |
| HBM4E | 未明确 | 技术展示与研发中,预计2027年量产 |
| HBM5 | 未明确 | 未来发展方向 |
存储与计算关系演进
- 传统冯·诺依曼架构:计算与存储分离,导致内存墙问题。
- AI推理场景:存储与计算逐步走向协同优化,通过存储分级、多层缓存、近存计算等方式提升系统性能。
结论
存储在AI推理中扮演着至关重要的角色,其带宽与容量的提升将直接推动推理性能的增强与成本的降低。“以存代算”趋势明确,未来存储技术将持续向高带宽、大容量和分级管理方向演进,成为AI硬件板块中业绩确定性最强、估值潜力最大的方向。
展开完整摘要
试读结束,高清完整版pdf/doc/ppt,请点下载