深度报告-2026-06-01-中泰证券-中泰电子AI系列之CPU_推理时代迎价值重估_53页_2mb

报告摘要

【中泰电子】AI系列之CPU：推理时代迎价值重估

核心内容

随着AI技术的发展，算力结构正从以训练为主转向以推理为核心。当前70%以上的算力用于训练，而未来这一比例将下降至30%，推理需求规模有望达到训练阶段的5-10倍。推理任务具有碎片化、长尾化和延迟敏感的特点，使得CPU在推理场景中成为主力，其在Decode、稀疏计算、长上下文管理、Embedding查找、后处理等任务中表现出更强的竞争力。随着Agentic AI的发展，CPU在处理高频小请求和多智能体调度方面具有天然优势，进一步推动其需求增长。

主要观点

推理需求显著增长：
- 推理需求正在迅速增长，预计到2030年，全球AI推理服务器市场规模将达到393.6亿美元，年复合增长率(CAGR)为18.9%。
- 推理任务的延迟敏感性和小Batch特性使得CPU在处理这类任务时更具优势。
CPU与GPU角色转变：
- 在训练场景中，CPU主要承担数据搬运和集群调度任务，时间占比约10-30%。
- 在推理场景中，CPU可承担70%以上的运行负载，成为主力。其在Decode、KV Cache管理、Embedding查找等方面表现优异。
CPU硬件结构升级：
- 指令集从“通用向量”向“专用矩阵”演进，引入AMX和VNNI，使单核AI算力提升24倍。
- 核心数由28/32提升至192/288，密度提升6-10倍。
- 内存子系统容量和带宽提升2.25倍，DDR5和CXL技术的引入提升了CPU在推理场景的适用性。
Agentic AI推动CPU需求爆发：
- Agentic AI的出现改变了工作负载特征，使得GPU算力闲余，CPU处理时间占比上升。
- 工具调用、沙箱运行和多智能体调度等环节依赖CPU架构，推动CPU在推理场景中的需求增长。
行业格局与市场趋势：
- x86占据90%市场份额，ARM占据10%。
- 随着推理和Agentic AI的发展，CPU与GPU配比将从1:8收紧至1:4，甚至可能在Agent时代进一步收敛至1:1。
- 据BofA预测，服务器CPU市场规模将在2030年达到1252亿美元，CAGR约36%。