中泰电子AI系列之存储：近存计算3DDRAM，AI应用星辰大海_64页_2mb

AI系列之存储：近存计算与3D DRAM技术发展

核心内容概述

随着人工智能（AI）的发展，存储与计算之间的协同需求日益显著。本文主要探讨了DRAM从2D到3D的发展趋势，以及封装级与晶圆级3D DRAM在AI场景中的应用。重点分析了HBM、WOW 3D堆叠DRAM和CUBE等近存计算技术，它们通过高带宽、低功耗和定制化设计满足AI芯片对存储的需求。

主要观点

1. 2D DRAM面临制程瓶颈，3D成为趋势

• DRAM结构：由存储单元（Cell）、外围逻辑电路（Core）和周边线路（Peripheral）组成，其中存储单元占50%-55%面积，是核心部分。
• DRAM工作原理：依赖电容器存储电荷，需频繁刷新，占总功耗10%以上。
• 制程瓶颈：2D DRAM制程微缩速度放缓，从1970-2005年每3年容量提升4倍，后续迭代速度下降。当前制程接近10nm，需使用EUV光刻技术。
• NAND与DRAM对比：NAND结构简单，已实现晶圆级3D堆叠，而DRAM因电容器结构复杂，3D化难度更大。
• 3D DRAM趋势：封装级3D DRAM已商业化，晶圆级3D DRAM仍处于研发阶段。

2. 存算分离架构存在“存储墙”问题

• 冯诺依曼架构：计算与存储分离，导致数据搬运延迟和能耗增加。
• 存储速度滞后：过去20年，处理器性能提升60%/年，而内存提升仅9%/年，存储成为算力瓶颈。
• AI应用需求：大型Transformer模型参数增长指数级，而GPU内存扩展速度有限，存储带宽与算力失衡问题显著。

3. 存算一体技术分类及应用

• 存算一体：分为近存计算（PNM）、存内处理（PIM）和存内计算（CIM）三种。
• 近存计算：通过封装拉近存储与计算单元，提升带宽，减少数据搬运。
• 存内处理：在存储单元中集成计算单元，提供片上处理能力。
• 存内计算：存储与计算完全融合，能效提升显著，但技术难度高，尚未大规模商用。

关键信息

1. HBM：AI大算力与高带宽解决方案

• 结构：采用TSV和Microbump技术，实现2.5D封装，与GPU直接互联。
• 性能：带宽高（最高达1.2TB/s），功耗低，容量可扩展。
• 制造流程：包括TSV、Microbump、堆叠键合和模塑封装。
• 规格：HBM1到HBM3E，单层容量从2Gb提升到3Gb，堆叠层数从4层到12层，I/O数量保持1024bit，I/O速度提升至9.8Gbps。
• 市场情况：海力士、三星、美光主导HBM市场，2023年市占率达96%，预计2024年市场规模达160亿美元，2025年超过300亿美元。

2. WOW 3D堆叠DRAM：定制化存储方案

• 结构：将多层DRAM与逻辑芯片（如GPU）进行3D堆叠，采用混合键合技术。
• 性能：带宽高于HBM，功耗更低，适用于低算力场景。
• 特点：容量和层数可定制，如紫光国芯的SeDRAM可组合为1Gb-48Gb。
• 制造工艺：采用混合键合技术，实现更小的I/O间距（3μm），提升I/O密度。

3. CUBE：高带宽存储方案

• 结构：通过3D封装技术，将存储单元与计算单元集成，提升带宽。
• 特点：属于近存计算，适用于AI推理场景。

4. 混合键合技术

• 分类：分为W2W（晶圆对晶圆）和C2W（芯片对晶圆）两种。
• 优势：提升I/O密度，缩短走线距离，降低功耗，省去底部填充成本。
• 应用场景：W2W适用于高良率的小型芯片，C2W更适合定制化需求。

投资建议

• HBM：作为标准化产品，市场需求旺盛，是AI芯片存储的重要组成部分。
• WOW 3D堆叠DRAM：定制化程度高，适合特定AI应用，是未来发展的潜力方向。
• CUBE：提供高带宽和低功耗，适合低算力AI推理场景。

风险提示

• 技术挑战：存内计算仍处于早期阶段，面临架构设计、软件生态和测试工具等方面的挑战。
• 制造难度：3D DRAM制造工艺复杂，特别是混合键合技术，良率和成本控制是关键。
• 市场集中度高：HBM市场由三星、海力士和美光主导，国内厂商面临技术壁垒。
• 供应链依赖：HBM制造涉及EUV光刻、TSV、Microbump等高端技术，依赖先进封装能力。

技术对比总结

未来趋势

• HBM4：预计堆叠层数达到16层，I/O数量增加至2048bit，带宽有望达到1.5-2.56TB/s。
• 混合键合：作为Bump技术的未来方向，将在高密度封装中发挥更大作用。
• AI需求增长：随着AI模型参数和算力需求的指数级增长，高带宽、低功耗存储技术将更加重要。

总结

本文系统分析了DRAM从2D向3D发展的趋势，探讨了封装级和晶圆级3D DRAM的技术实现及市场应用。HBM、WOW 3D堆叠DRAM和CUBE作为近存计算技术，已广泛应用于AI领域，而存内计算因技术难度大，尚未大规模商用。未来，随着AI算力需求的提升，3D DRAM技术，特别是混合键合工艺，将成为解决“存储墙”问题的关键。