20230823-财通证券-计算机行业专题报告_大模型推理算力知多少__12页_1mb

• Transformer架构的推理生成过程是访存密集型任务，显存带宽是算力利用的主要瓶颈，远影响模型性能及算力成本估算。
• 在优化实践中，算力成本与用户体验存在矛盾，模型精简虽可降低计算量，但可能削弱模型效果，而单纯增大BatchSize则会导致延迟增加、用户体验下降。
• 经测算，GPT-3.5推理任务所需的A100显卡数量至少需5万张，算力需求呈长期高景气趋势，但高昂成本仍制约大规模落地。
• 英伟达L40s芯片在训练及图像生成领域具备较好的性价比，可有效降低中腰部模型推理成本，推动其应用加速落地。

投资建议： 关注AI服务器、国产AI芯片、AI大模型应用及相关工具类公司（如金山办公、万兴科技、恒生电子等），布局向下渗透场景与算力基础设施链。

风险提示： 技术迭代、商业化落地不及预期、政策变化、宏观经济波动。