电子行业专题研究:四问四答,剖析算力产业链价值潜力_19页_3mb
报告摘要
算力产业链价值潜力分析总结
核心内容概述
本报告通过“四问四答”的形式,深入剖析了算力产业链的价值潜力,重点围绕GPT模型的演进、大模型的“大参数+大数据”模式、算力需求的增长趋势以及未来受益环节展开分析,强调算力在AI发展中的关键作用,并对相关产业链提出投资建议。
主要观点与关键信息
1. GPT进化历程的启示
- GPT的发展历程:从2018年的初代GPT到2020年的GPT-3,再到2023年的GPT-4,GPT系列模型在参数量和性能上持续提升。
- Transformer架构:2017年提出的Transformer架构因其在处理长序列语义、训练速度和上下文捕捉能力上的优势,成为NLP领域的主导架构。
- GPT与BERT的区别:GPT采用单向的decoder架构,专注于生成任务,而BERT采用双向的encoder架构,擅长理解上下文信息。
- InstructGPT与ChatGPT:引入强化学习(RLHF)和微调机制,使模型更符合人类习惯并减少偏见。
- GPT-4的性能突破:在考试中取得80分位成绩,接近优秀人类学生;在多模态任务中表现突出,强化学习显著提升其行为规范性。
2. “大参数+大数据”的优越性与持续性
- 缩放定律:模型损失(Loss)与计算量、模型规模、参数规模呈强相关,且在其他变量恒定时,呈现幂级关系。这表明“大有大的好处”。
- 涌现能力:当模型规模达到一定临界点时,性能会突然大幅提升,这种“顿悟”能力为大模型的商业化提供了广阔空间。
- 语料与算力限制:
- 语料耗尽:高质量语言数据预计在2026年前耗尽,低质量数据在2030-2050年耗尽,图像数据在2060年耗尽。
- 算力限制:当前算力增长受限,但随着硬件、算法和资本的协同提升,训练时间有望大幅缩短。
3. 算力需求增长速度与天花板
- 训练阶段算力需求:
- 2022年平均训练算力需求为 $8e + 23$ FLOPs,预计2023年为 $1.9e + 24$ FLOPs,2024年为 $4.7e + 24$ FLOPs。
- 从2015年起,大模型算力需求翻倍时间约为9.9个月,较之前更快。
- 推理阶段算力需求:
- 主要受模型参数量和接入人数影响,参数量持续增长,而接入人数也在稳步上升。
- 算力增长趋势:
- 前深度学习时代:平均每21.3个月翻一倍。
- 深度学习时代:平均每5.7个月翻一倍。
- 大模型时代:平均每9.9个月翻一倍。
- 未来算力需求增长可能进一步加快。
4. 受益环节展望
- 云厂商数据中心:作为大模型算力的主要承载者,大型云服务商(如微软)承担训练和推理任务,合作模式将持续。
- 服务器:是数据中心的核心组件,占建设成本的69%,AI服务器采用异构模式,包含CPU、GPU、内存等,其中CPU和GPU占成本的绝大部分。
- 存储芯片:在大模型训练和推理中扮演重要角色,包括兆易创新、北京君正、东芯股份、普冉股份等。
- 推荐关注公司:
- 海外:工业富联、沪电股份。
- 国产:寒武纪、海光信息、兴森科技、芯原股份、深南电路。
- 存储芯片:兆易创新、北京君正、东芯股份、普冉股份。
风险因素
- 宏观经济下行风险:可能影响企业投资和算力需求。
- AI发展不及预期风险:大模型性能可能未达预期,影响产业链价值。
- 地缘政治波动风险:可能影响全球供应链和算力设备供应。
结论
大模型的发展验证了“大参数+大数据”模式的可行性,算力需求持续增长,但受限于语料和硬件。未来随着硬件、算法和资本的协同提升,算力翻倍速度可能加快,大模型训练时间有望显著缩短。算力产业链,尤其是数据中心、服务器和存储芯片,将成为受益环节,建议投资者重点关注相关企业。
展开完整摘要
试读结束,高清完整版pdf/doc/ppt,请点下载