中泰电子AI系列之NPU：专为端侧AI而生的神经网络加速器_60页_4mb

【中泰电子】AI系列之NPU：专为端侧AI而生的神经网络加速器

核心内容

NPU（Neural Processing Unit）是一种专为端侧AI应用设计的神经网络加速器，与传统的CPU和GPU相比，NPU在AI推理效率、能效比和特定数学运算方面具有显著优势。NPU主要适用于乘法累加（MAC）运算，是深度学习、卷积神经网络（CNN）等AI算法的底层硬件支撑。随着AI在端侧（如手机、PC、汽车、机器人等）的快速发展，NPU正成为推动AI应用落地的重要组件。

主要观点

• NPU与GPU定位不同：GPU主要用于云端AI训练，而NPU专注于端侧AI推理，满足低功耗、高能效的需求。
• NPU的性能优势：NPU在AI模型运行效率方面显著优于CPU和GPU，尤其在端侧AI场景中，其算力和能效比优势明显。
• NPU的核心技术：NPU以MAC单元为核心，支持标量、向量、张量运算，能高效处理AI模型的矩阵运算和卷积计算。
• 算力提升与应用扩展：随着大模型（如LLM、LVM）的参数量增加，NPU算力需求持续提升，预计在2025年达到60TOPS以上。
• NPU的商业化应用：NPU已被广泛应用于手机、PC、自动驾驶、机器人等端侧场景，如高通、苹果、AMD等厂商已推出多款NPU芯片。
• NPU面临的瓶颈：NPU的发展受限于内存带宽和功耗问题，存算一体（如近存计算、存内处理）是突破瓶颈的重要方向。

关键信息

NPU与GPU的区别

NPU算力与性能指标

• 算力（TOPS）：NPU算力理论峰值 = MAC矩阵行 × MAC矩阵列 × 主频 × 2。
• 高通NPU算力：如骁龙X Elite拥有45TOPS，可支持百亿级参数模型。
• 苹果NPU算力：M4芯片NPU算力达到38TOPS。
• Intel NPU算力：NPU4峰值算力达48TOPS，是前代的约4倍。

NPU应用场景

• 手机：高通、苹果、三星等厂商的NPU芯片已支持生成式AI（GenAI）应用，如Stable Diffusion、语音识别、文本生成等。
• PC：AI PC（AIPC）是大模型的最佳载体之一，NPU渗透率预计2028年达到94.8%。
• 汽车：高通的Ride Elite支持L2+L3级别自动驾驶，集成Transformer加速器和矢量引擎，提升推理效率和功耗控制。
• 机器人：NPU用于语音识别、图像分类、目标跟踪等任务，提升计算速度和系统效率。

NPU技术演进与挑战

• 存算分离瓶颈：随着AI模型参数量增加，存储带宽和数据搬运成为性能瓶颈。
• 存算一体方案：包括近存计算（PNM）、存内处理（PIM）和存内计算（CIM），其中CIM是真正的存算一体，但目前尚未大规模商业化。
• WOW 3D堆叠DRAM：通过TSV硅通孔技术和Hybrid Bonding工艺，实现高带宽和低功耗，是近存计算的典型代表。
• MAC结构：NPU的MAC单元是核心组件，支持并行计算，如高通Hexagon NPU的MAC阵列可达96×96，提供9216MACs。

产业趋势

• 近存计算成为趋势：3D DRAM与NPU的结合有望解决“存储墙”问题，提升AI芯片的性能与能效。
• 3D堆叠技术应用：如紫光国芯的WOW 3D堆叠DRAM，具备高带宽、低功耗、定制化等优势。
• 海外大厂持续迭代：高通、苹果、Intel等公司不断推出高性能NPU芯片，满足端侧AI需求。
• 国产厂商加速布局：华为昇腾、龙芯中科、瑞芯微等厂商在NPU领域加大投入，推动国产替代。

投资建议及风险提示

• 投资建议：NPU作为端侧AI的核心组件，未来几年将迎来爆发式增长，建议关注具备NPU技术优势的厂商。
• 风险提示：NPU市场仍处于早期阶段，技术成熟度、产品稳定性、供应链风险等是潜在挑战。

总结

NPU作为专为端侧AI设计的神经网络加速器，其在算力、能效比和特定AI任务处理方面具有显著优势。随着AI大模型在端侧的广泛应用，NPU将在手机、PC、汽车、机器人等多领域迎来爆发式增长。同时，NPU面临内存带宽和功耗瓶颈，存算一体技术（如近存计算、3D堆叠DRAM）成为未来发展方向。海外大厂持续迭代推动NPU技术发展，国产厂商也在加速布局，有望在未来竞争中占据一席之地。