20230306-国金证券-计算机行业专题研究报告_ChatGPT_训练及多场景推理成本测算_8页_1mb

计算机行业研究：ChatGPT训练及多场景推理成本测算总结

核心内容概述

本报告主要围绕ChatGPT模型的训练与推理成本进行测算，并分析其在不同应用场景下的成本差异。通过对比云计算与自建AI算力中心的成本，为投资者提供参考，同时指出潜在的风险因素。

主要观点

• 训练成本：使用云计算时，ChatGPT的训练成本约为170万美元；若自建AI算力中心，训练成本可降至约51万美元。
• 推理成本：云计算环境下，ChatGPT每处理1,000Tokens信息的成本约为0.177美分；自建算力中心可将成本降至0.053美分。
• 应用场景差异：不同场景下，AI模型的推理成本因任务复杂度、缓存命中率、计算集群闲置率和模型压缩因子等因素而异。
• 投资建议：建议关注有海外场景的公司，如福昕软件、万兴科技等，因其可能率先与GPT-3.5-turbo模型对接，推动商业化落地。
• 风险提示：包括海外基础软硬件使用受限、应用落地不及预期、行业竞争加剧等。

关键信息

1. AI模型训练成本估算

• 公式：训练成本 = (模型训练所需浮点运算次数 / 算力集群单位时间有效浮点运算次数) × 算力集群单位时间价格
• 参数：
  • 模型参数规模：1750亿参数
  • 训练集大小：4000亿Tokens
  • 有效算力比率：30%
  • 云计算算力价格：每小时10.9美元
• 云计算训练成本：约170万美元
• 自建算力中心训练成本：约51万美元（基于70%的云计算毛利率）

2. 通用AI模型推理成本估算

• 公式：推理成本 = (模型推理所需浮点运算次数 / 算力集群单位时间有效浮点运算次数) × 算力集群单位时间价格
• 参数：
  • 模型参数规模：1750亿参数
  • 训练集大小：4000亿Tokens
  • 有效算力比率：30%
• 云计算推理成本：约0.177美分/1000Tokens
• 自建算力中心推理成本：约0.053美分/1000Tokens

3. 多应用场景下ChatGPT推理成本估算

3.1 搜索引擎场景（以新版Bing为例）

• 场景任务所需Tokens：50（用户输入） + 1300（信源读取） × 6（信源数量） + 600（模型输出） = 8350Tokens
• 缓存命中率：30%
• 计算集群闲置率：20%
• 模型压缩因子：1
• 云计算场景成本：1.73美分
• 自建算力中心场景成本：0.52美分

3.2 办公软件场景

• 场景任务所需Tokens：(400（用户输入） + 2000（模型输出）) × 3（平均响应轮次） = 7800Tokens
• 缓存命中率：0%
• 计算集群闲置率：20%
• 模型压缩因子：1
• 云计算场景成本：1.70美分
• 自建算力中心场景成本：0.51美分

3.3 AI客服场景

• 场景任务所需Tokens：(100（用户输入） + 600（模型输出）) × 5（平均对话轮次） = 3500Tokens
• 缓存命中率：35%
• 计算集群闲置率：20%
• 模型压缩因子：0.5
• 云计算场景成本：0.08美分
• 自建算力中心场景成本：0.02美分

投资逻辑

• 模型对接：GPT-3.5-turbo模型可为高需求用户提供专用实例，有助于场景应用落地。
• 商业应用：开发者可通过OpenAI进行云端微调，以增强模型在特定场景下的表现。
• 成本优化：未来模型压缩技术的发展有望进一步降低推理成本，促进生成式模型在更多场景的商用。

风险提示

• 海外软硬件限制：国际关系可能导致高算力GPU和计算框架使用受限。
• 应用落地风险：相关公司可能难以找到合适的商业应用场景，或客户付费意愿不足。
• 行业竞争风险：随着更多企业加快技术迭代和应用布局，行业竞争将加剧，影响现有企业的业绩增长。

总结

本报告通过详细测算ChatGPT在训练与推理阶段的成本，结合不同应用场景的复杂度，为投资者提供了关于AI模型商业化落地的参考依据。同时，报告指出未来模型压缩技术可能显著降低推理成本，推动生成式模型在更多领域的应用。投资者应关注具备海外场景的公司，并警惕潜在的软硬件限制、应用落地不及预期及行业竞争加剧等风险。