AI算力研究框架-国海证券-2023.6.13-80页_4mb

报告摘要

AI算力研究框架总结

核心内容

GPT-4作为当前最先进的AI系统之一，被认为是迈向AGI（通用人工智能）的重要一步。其强大的“涌现能力”使得在大型模型中出现一些在小型模型中不存在的高级功能，如情景学习、逻辑推理、多模态处理等。这些能力的实现依赖于多项技术突破，包括大参数量、大数据训练、Transformer架构、RLHF（人类反馈强化学习）、Prompt技术以及系统工程创新。

AI算力是推动大模型发展的核心基础设施，随着大语言模型（LLM）的不断演进，算力需求呈现指数级增长。GPT系列模型的发布不仅推动了AI技术的革新，也对算力产业链产生了深远影响，成为科技产业“十年新周期”的开端。

主要观点

GPT-4是AI技术与工程的突破：GPT-4是首个接近AGI的模型，其参数规模接近1万亿，数据量达20万亿Tokens，具备强大的多模态处理能力，以及在专业考试、逻辑推理等方面达到人类水平的表现。
算力是AI发展的基石：Transformer架构的引入大幅提升了模型对算力的需求，远超传统摩尔定律的增长速度。算力需求的激增将推动整个AI产业链的发展，包括计算、存储、网络和软件。
算力需求呈指数增长：随着大模型的参数和数据规模不断增大，算力消耗呈指数级增长，对GPU、光模块、服务器、存储等硬件提出了更高要求。
AI算力带动科技产业变革：算力被视为AI时代的“操作系统”，其应用将推动新的科技周期，影响多个行业如金融、教育、医疗、法律等，带来广泛的商业价值和应用场景。

关键信息

1. GPT-4的技术创新

大参数+大数据+算法创新：GPT-4通过扩大参数规模、使用更大规模数据集和优化算法，实现了模型性能的显著提升。
Transformer架构：基于自注意力机制，Transformer模型具有全局表征能力、高度并行性、可扩展性等优势，成为LLM的核心架构。
RLHF（人类反馈强化学习）：通过将人类反馈纳入训练过程，GPT-4在行为方式和价值观上与人类保持一致。
Prompt技术：通过构造提示，提升模型对任务的理解和执行能力，包括情境学习（ICL）和思维链（CoT）等。
插件机制：ChatGPT引入插件，使其能够访问外部信息、执行计算任务，从而扩展其功能边界。
系统工程：GPT-4是当前最复杂的软件系统之一，其训练和部署涉及大规模数据处理、分布式计算等系统性工程。

2. AI算力的构成与发展

计算：GPU是训练和推理的核心支柱，其更新速度远超摩尔定律。AI服务器作为GPU的重要载体，将随GPU放量同步增长。
网络：GPU之间的通信瓶颈日益凸显，NVLink、NVSwitch等技术方案提升了网络性能，800G、1.6T光模块成为核心需求。
存储：存储器面临“内存墙”问题，NAND、DRAM等接近极限，HBM（高带宽内存）成为高性能GPU的核心组件，市场前景广阔。
软件与算法：预训练数据的质量和规模对模型性能至关重要。常用的训练库包括Transformers、DeepSpeed、Megatron-LM等，支持分布式训练和优化。