> **来源：[研报客](https://pc.yanbaoke.cn)** # AI系列深度11期：大模型如何进行模仿与强化学习？总结 ## 核心内容 本文探讨了大模型在智能体学习中的两种主要路径：**模仿学习**和**强化学习**，并分析了它们在实际应用中的特点、挑战与结合方式。文章还涉及了大模型在智能驾驶和具身智能等领域的应用趋势，以及当前AI技术发展的方向与风险提示。 --- ## 主要观点 ### 1. 学习路径概述 - **模仿学习**：通过专家示范学习状态到动作的映射，常用于快速构建初始策略。 - 优点：训练速度快、稳定性高。 - 缺点：易受分布漂移影响，无法覆盖未见状态。 - **强化学习**：通过环境反馈的奖励信号优化策略，适合复杂、动态环境。 - 优点：能突破示范上限，实现策略优化。 - 缺点：存在探索与利用的矛盾、奖励稀疏、样本效率低等挑战。 ### 2. 强化学习的发展 - 强化学习的思想源于行为主义心理学与贝尔曼MDP理论，由Sutton与Barto体系化。 - 近年来，强化学习在多个领域持续演进，如DQN、AlphaGo、RLHF、RLVR等。 - 从补充性优化工具演变为后训练、偏好对齐、可验证推理的重要方法。 ### 3. 模仿学习与强化学习的结合 - 工程实践中常用**模仿学习+强化学习**的组合范式。 - 典型案例包括： - **AlphaGo**：先学习棋谱，再进行自我对弈。 - **ChatGPT**：先进行监督微调（SFT），再通过RLHF优化。 - **机器人VLA**：先示范预训练，再通过仿真或真实环境强化。 ### 4. 智能驾驶与具身智能的应用趋势 - 在物理世界中，纯模仿学习面临试错成本高、示范数据有限等问题。 - 趋势是**先用模仿学习获取初始策略，再通过仿真、世界模型和强化学习补足长尾场景**。 - 杨立昆提出的“蛋糕论”强调自监督学习在理解世界中的重要性，但强化学习在策略优化和偏好对齐中愈发关键。 ### 5. AI发展路径与方向 - 数字AI底座模型发展路径已逐渐清晰，但难以实现物理世界的建模闭环。 - **物理AI**将成为物理世界的重要解决方案，智能驾驶是当前最先跑通闭环的代表场景。 --- ## 关键信息 - **模仿学习**：适用于快速稳定策略构建，但存在分布漂移与示范者上限问题。 - **强化学习**：在复杂任务中更具潜力，但面临样本效率低、奖励稀疏等挑战。 - **组合范式**：当前主流采用“模仿学习 + 强化学习”方式，以提升策略的泛化与优化能力。 - **智能驾驶与具身智能**：是强化学习与模仿学习结合的重要应用领域，需依赖仿真与世界模型弥补真实环境的不足。 - **大模型训练流程**： - 预训练：自监督学习通用表征。 - 监督微调（SFT）：模仿高质量人工示范。 - RLHF/RLVR：基于人类偏好或可验证奖励进行策略优化。 --- ## 风险提示 - 技术迭代不及预期。 - 大模型厂商ARR增速放缓。 - 云服务商资本开支不及预期。 - 智能驾驶及机器人商业化落地不及预期。 --- ## 最新金股组合 | 代码 | 简称 | 行业 | 总市值 (亿元) | 27EPS (元) | 28EPS (元) | 27PE | 28PE | |-------------|--------------|----------------|---------------|------------|------------|--------|--------| | 600176.SH | 中国巨石 | 建筑建材 | 2,917 | 1.49 | 1.66 | 49 | 44 | | 300751.SZ | 迈为股份 | 机械 | 788 | 4.04 | 5.79 | 70 | 49 | | 002371.SZ | 北方华创 | 机械 | 6,419 | 12.53 | 16.47 | 71 | 54 | | 300604.SZ | 长川科技 | 机械 | 2,166 | 4.80 | 6.55 | 71 | 52 | | 688630.SH | 芯碁微装 | 电子 | 782 | 7.32 | 9.75 | 75 | 56 | | 688141.SH | 杰华特 | 电子 | 691 | 1.38 | 4.75 | 111 | 32 | | 1801.HK | 信达生物 | 医药 | 1,384 | 2.04 | 2.79 | 34 | 25 | | 688235.SH | 百济神州 | 医药 | 2,413 | 6.28 | 7.38 | 41 | 35 | | 002428.SZ | 云南锗业 | 计算机 | 785 | 1.71 | 2.57 | 70 | 47 | | MU.O | 美光科技 | 传媒互联网&海外| 13,036 | 151.43 | 165.15 | 8 | 7 | **数据来源**：Wind，东吴证券研究所 **注**：市值、PE数据截至2026/6/30，港股市值以港币计，美光科技数据以美元计，其余以人民币计。HKDCNY汇率为2026年6月30日的0.87，盈利预测基于东吴证券研究所分析。 --- ## 法律声明 - 本公众号为东吴证券研究所官方订阅号，内容来源于已正式发布的研究报告。 - 本内容不构成投资建议，使用本内容产生的任何损失，东吴证券及研究所不承担任何责任。 - 未经书面许可，禁止复制、转载或修改本内容，如需使用，请注明出处“东吴证券研究所”。