20260626-海通国际-OpenAI_发布首款自研推理芯片_AI_模型加速芯片流片_3页_331kb
报告摘要
OpenAI 发布首款自研推理芯片 Jalapeño 总结
核心内容
OpenAI 于 6 月 24 日与 Broadcom 联合发布了其首款自研 AI 推理芯片 Jalapeño,标志着 OpenAI 开始构建自己的算力平台。该芯片被定义为 Intelligence Processor,专注于大语言模型(LLM)的推理加速,而非通用训练用途。Jalapeño 已在实验室运行机器学习负载,计划于 2026 年底前启动初步部署,是 OpenAI 多代自研算力平台的第一代产品。
主要观点
- 自研算力平台的起点:Jalapeño 是 OpenAI 自研算力平台的首次亮相,标志着其从依赖外部 GPU 供应商向自主可控的硬件基础设施转型。
- 性能与效率提升:Jalapeño 的设计周期仅 9 个月,远低于传统 ASIC 开发时间,且通过模型加速设计与优化流程,显著提升了研发效率。其目标是优化推理场景中的 kernels、memory movement、networking 和 serving patterns,以降低推理成本、延迟并提高并发承载能力。
- 专用化趋势:与通用 GPU 不同,Jalapeño 定位为“推理专用”芯片,强调对 OpenAI 内部推理流量和模型服务系统的深度适配,而非面向外部市场销售。
- 与 TPU 的相似性:Jalapeño 被视为 OpenAI 走向类似 Google TPU 的自研算力基础设施路线,但目前仍处于第一代阶段,尚未形成完整的生态体系。
- 对 NVIDIA 的替代潜力:若 Jalapeño 在 2027 年部署约 300MW 推理负载,并实现 35% 的 性能/瓦 提升,将可能替代约 24 万颗 B200 等效 GPU,减少 NVIDIA 系统级采购约 131 亿美元。
- 产业链协同效应:Jalapeño 不仅是芯片产品,更是一套完整的推理基础设施,涉及 ASIC 实现、Ethernet 连接、机架系统集成 等多个环节,对 Broadcom、Celestica、内存和网络产业链构成直接增量信号。
关键信息
- 发布时间:2024 年 6 月 24 日
- 合作方:Broadcom、Celestica
- 定位:LLM 推理加速器
- 开发周期:9 个月(从设计到 tape-out)
- 部署计划:2026 年底前开启初步部署,2029 年底完成 10GW 级别部署
- 目标:降低对通用 GPU 依赖,提升推理成本控制与规模化部署能力
- 性能亮点:优化推理场景下的关键性能指标,如延迟、能效、并发承载能力
与主流 AI 加速器对比
| 型号 | 厂商 | 主要定位 | 官方已披露关键数据 | 与 Jalapeño 的对比 |
|---|---|---|---|---|
| Jalapeño | OpenAI / Broadcom | LLM 推理加速器 | 面向 LLM inference;实验室样品运行;2026 年部署 | 更聚焦推理,尚未公布详细规格 |
| Cerebras WSE-3 | Cerebras | 训练+推理 | 5nm;4万亿晶体管;90万 AI 核心;44GB 片上 SRAM | 推理时代的重要异构路线 |
| Google TPU v7x | 推理优先,也支持训练 | 192GB HBM/芯片;约 7.37 TB/s HBM 带宽;42.5 EFLOPS FP8 | 最成熟的云厂商自研 AI 加速器对标对象 | |
| AWS Trainium2 | AWS | 训练为主,也覆盖推理 | 96GB 设备内存;2.9TB/s 带宽;1,299FP8 TFLOPS | 可比性较弱,因其更偏向训练优化 |
| AWS Inferentia2 | AWS | 推理 | 32GB HBM;820 GB/s 带宽;190 FP16 / BF16 / cFP8 / TF32 TFLOPS | 概念上接近 Jalapeño,但主要以云服务形式对外提供 |
| Microsoft Maia 200 | Microsoft | 推理 | 3nm;216GB HBM3e;7 TB/s 带宽;750W SoC TDP | 战略目标相似,但更侧重云端推理优化 |
| AMD Instinct MI350X | AMD | 训练+推理 | 288GB HBM3e;8 TB/s 峰值带宽;OAM 模组;PCIe 5.0 x16 | 更偏向通用 GPU 替代方案 |
| NVIDIA Blackwell B200 | NVIDIA | 训练+推理 | 192GB HBM3e;8 TB/s 带宽;DGX B200(8 GPU)为 1,440GB 总显存、64 TB/s 总带宽、144 PFLOPS FP4、72 PFLOPS FP8 | 仍是主导性通用 AI 加速器平台,Jalapeño 与其共存而非替代 |
风险提示
- 市场竞争加剧:随着更多公司进入自研 ASIC 领域,Jalapeño 可能面临来自 Google、AWS、Microsoft 等的竞争压力。
- 技术验证不及预期:作为首款自研芯片,其性能、功耗、稳定性等关键指标仍需经过实际部署验证。
- 产品落地不及预期:虽然计划于 2026 年部署,但实际落地可能受供应链、制造工艺、系统集成等因素影响。
结论
Jalapeño 的发布标志着 OpenAI 在 AI 硬件基础设施上的重大战略转型。其核心目标是构建一套面向推理场景的专用算力平台,以提升性能、降低成本、增强供应链控制能力。尽管短期内无法完全取代 NVIDIA 等通用 GPU 厂商,但其快速开发周期和定制化设计为 OpenAI 提供了更强的议价能力和长期技术积累的可能。同时,Jalapeño 的推出也为 Broadcom、Celestica 等产业链伙伴带来了新的增长机会。
展开完整摘要
试读结束,高清完整版pdf/doc/ppt,请点下载