计算机行业AIGC系列报告（二）：算力，AIGC时代的“卖铲人”-20230402-招商证券-28页_2mb

报告摘要

本报告系统分析了AIGC时代算力的重要性及发展趋势，重点围绕大模型训练和推理所需的算力需求、英伟达DGX系统的作用以及相关投资建议展开。报告指出，算力是推动AIGC技术发展的核心资源，其需求随着模型规模的扩大而呈指数级增长。

模型规模与算力需求：随着大模型参数量的快速提升，Transformer架构因其高效的并行计算能力成为主流。模型参数量每年以5至10倍的速度增长，训练和推理所需算力也大幅上升。
“涌现”效应：当模型训练量超过 $10^{22}$ 时，模型在自然语言处理任务中的准确率显著提升，表明大模型在性能上仍有很大提升空间。
英伟达GPU的优势：英伟达GPU凭借多核并行计算能力和Tensor Core技术，成为当前最适合用于AI训练的芯片。其算力利用率高、精度优化（如FP8、TF32、FP16）及与主流云计算平台的兼容性，使其在AI领域占据主导地位。
算力成本测算：以GPT3为例，训练所需算力为3646PF·Days，若使用10000张V100/A100芯片，分别需要14.59/3.34天，训练费用分别为4.72/1.89百万美元。推理方面，1000个token的算力需求约为350TFLOPS，对应成本约0.15美分。
投资建议：算力基础设施是AIGC发展的关键环节，我国在该领域仍有较大成长空间。推荐关注国产AI芯片企业寒武纪、海光信息，以及服务器厂商中科曙光、浪潮信息。

训练算力公式：训练算力需求 = 模型参数量 × 数据集token数 × 系数 $k$
- Encoder-Only/Decoder-Only：$k = 6$
- Encoder-Decoder：$k = 3$
GPT3训练需求：175B × 3000B × 6 = $3.15 \times 10^{23}$ = 315ZettaFLOPS
- 转换为单日算力需求：3646PF·Days
推理算力公式：推理算力需求 = 模型参数量 × （“输入 + 输出” token数） × 系数 $k$
- Encoder-Only/Decoder-Only：$k = 2$
- Encoder-Decoder：$k = 1$
GPT3推理需求：175B × 1000 × 2 = $3.5 \times 10^{14}$ = 350TFLOPS

DGX系统组成：包括A100、H100、BasePOD、SuperPOD四款产品。
DGX A100：配备8个A100 GPU，总显存640GB，峰值性能达5 petaFLOPS AI、10 petaOPS INT8，适用于多种AI工作负载。
DGX H100：搭载8个H100 GPU，总显存640GB，峰值性能高达32petaFLOPS FP8，性能较前代提升3倍，支持更复杂的AI任务。