海外科技行业:算力需求高增AI_ASIC突围在即_41页_3mb
报告摘要
算力需求高增,AIASIC突围在即
核心内容
随着AI技术的快速发展,算力需求持续增长,AI专用集成电路(ASIC)因其在性价比、功耗和算力利用效率方面的优势,正逐渐成为云厂商和AI企业的重要选择。虽然单颗ASIC算力仍不及最先进的GPU,但通过集群部署,其整体算力利用效率和成本效益可能更优。同时,ASIC的软硬件生态体系日趋成熟,预计未来市场规模将实现高速增长。
主要观点
- ASIC优势显著:ASIC在特定场景下具有更高的性价比和更低的功耗,尤其在推理任务中表现突出。
- 市场前景广阔:预计到2028年,数据中心定制加速计算芯片市场规模将超过400亿美元,CAGR达45%,显著高于通用加速芯片的32%。
- 云厂商积极布局:谷歌、微软、亚马逊等北美云厂商已开始自研ASIC芯片,并构建了完整的软硬件生态。
- 软件生态发展:云厂商自研的软件生态,如谷歌的XLA、微软的Triton、亚马逊的Neuron SDK等,有助于提升ASIC的性能表现。
- 技术挑战与合作:ASIC自研面临IP授权、产业链整合等挑战,多数厂商选择与外部IP供应商合作,以加快产品落地。
关键信息
1. ASIC与GPU性能对比
| 芯片类型 | FP16/BF16(TFLOPS) | INT8/FP8(TFLOPS) | 片上内存容量(MB) | 片外内存带宽(TB/s) | 互连带宽(双向) | 最高 TDP |
|---|---|---|---|---|---|---|
| H100 | 1000/2000* | 2000/4000* | 50 | 3 | NVLink: 900GB/s; PCIe 5.0: 128GB/s | 700W |
| B100 | 1750/3500* | 3500/7000* | - | 8 | NVLink: 1.8TB/s; PCIe 6.0: 256GB/s | 700W |
| TPU v5p | 459 | 918 | 48 | 2.7 | 6*800GB/s | - |
| TPU v6 | 926 | - | - | 1.6 | 4*800GB/s | - |
| Trainium 2 | 431 | 861 | - | 4 | - | - |
| MTIA v2 | 177 /354 * | 354 /708 * | 256 | 205 | PCIe 5.0: 64GB/s | 90W |
| Maia 100 | 800 | 1600 | 448 | 1.6 | PCIe 5.0: 64GB/s | 860W |
注:红色字体表示未经官方确认,为预测值;*表示采用稀疏技术下的算力。
2. ASIC市场发展趋势
- 市场增长:2023年定制芯片市场规模约66亿美元,预计2028年将突破429亿美元,CAGR达45%。
- 云厂商投入:谷歌、微软、亚马逊等云厂商已成为定制芯片的重要客户,预计贡献英伟达FY2025收入的60%以上。
- ASIC集群能力:谷歌TPUv5e可拓展至5万卡集群,亚马逊Trainium2可扩展至10万卡集群,提供65 exaflops的算力。
3. 云厂商ASIC布局
谷歌TPU
- 发展情况:已进化至第六代,覆盖推理和训练场景,TPUv5p单Pod可容纳8960颗芯片。
- 性能优势:在INT8/FP8精度下,TPUv6性能接近H100,且算力利用率高,成本和功耗显著低于H100。
- 互联技术:采用3D torus架构和光交换机(OCS),提升互联效率,降低功耗。
- 软件生态:XLA编译器和Multislice Training技术,支持大模型高效训练。
微软MTIA
- 发展情况:MTIAv2已发布,主要用于AI推理,支持PyTorch等框架。
- 性能优势:在INT8精度下,MTIAv2的算力为354 TFLOPS,接近A100的57%。
- 互联技术:内置RMDA以太网IO,采用PCIe 5.0和25.6T交换机,提升集群性能。
- 软件生态:构建Triton开源平台,支持不同硬件之间的转换,提升开发效率。
亚马逊Trainium
- 发展情况:Trainium系列主要用于训练场景,已进化至第二代,性能提升4倍。
- 性能优势:Trainium2在INT8精度下提供861 TFLOPS,内存带宽提升至4TB/s。
- 互联技术:采用NeuronLink互连技术,支持大规模并行训练。
- 软件生态:构建三层AI堆栈,包括Neuron SDK、Amazon Bedrock和Amazon Q,降低对NVIDIA的依赖。
特斯拉Dojo
- 发展情况:自研Dojo计算平台,用于训练自动驾驶AI模型,已投入量产。
- 性能优势:单训练板功耗高达15kW,采用自研TTP通信协议,提供高带宽低时延连接。
- 软件生态:创建全栈软件生态,支持自动驾驶模型训练。
4. 软件生态
- CUDA主导:英伟达CUDA生态成熟,与GPU紧密绑定。
- 开源平台崛起:ROCm、oneAPI等开源平台逐步发展,推动软件生态多元化。
- 云厂商推动:云厂商通过自研软件栈,提升ASIC在特定场景下的性能表现。
风险提示
- AI算法技术风险:算法变化可能导致ASIC性能下降。
- 生态系统建设不及预期:软件生态的发展速度可能影响ASIC的普及。
- 芯片研发不及预期:技术突破和量产进度可能影响市场增长。
- AI产业发展不及预期:AI应用场景和需求增长可能不如预期。
结论
AI ASIC凭借其在特定场景下的高性价比、低功耗和高算力利用率,正逐步在云厂商和AI企业中得到广泛应用。随着技术迭代和生态完善,预计未来几年内ASIC市场规模将实现高速增长,成为AI算力的重要补充。
展开完整摘要
试读结束,高清完整版pdf/doc/ppt,请点下载