> **来源：[研报客](https://pc.yanbaoke.cn)** # 语言智能从RNN到Transformer的演进分析 ## 核心内容 语言智能技术从循环神经网络（RNN）向Transformer模型的转变，标志着序列建模方法从“递归记忆”向“全局注意力”的根本性变革。这一转变不仅改变了模型的结构设计，也对研究方向和产业应用产生了深远影响。 ## 主要观点 1. **RNN的局限性** - RNN通过隐藏状态传递上下文信息，适合处理顺序数据（如文本、语音）。 - 然而，其串行计算方式、长距离依赖衰减问题以及固定向量瓶颈，限制了其在大模型时代的扩展能力。 2. **Transformer的创新** - Transformer通过自注意力机制，使序列中任意位置的元素能够直接交互，突破了RNN的串行结构限制。 - 其优势包括：训练可并行、更强的长距离依赖建模能力、结构易于堆叠扩展、归纳偏置更弱、更能利用大规模数据价值。 3. **发展阶段与成果** - **2017年**：自注意力机制替代递归结构，完成Transformer架构的初步确立。 - **2018—2020年**：BERT、GPT、T5/BART等模型推动预训练—微调范式，实现语言理解与生成任务的统一，并验证了规模律。 - **2021年后**：指令微调、RLHF、CoT、RAG、工具调用、o1、DeepSeek-R1等技术进一步丰富了语言模型的能力，推动模型从单纯扩大规模转向后训练优化和测试时计算。 4. **研究与产业范式转变** - 研究方向从为每个任务设计专用模型，转向预训练通用模型，再向对话式通用模型发展。 - 产业形态因“互动性”能力发生质变，语言模型成为可以直接与用户交互的入口，如ChatGPT成为AI发展的关键拐点。 5. **数字AI与物理AI的对比** - 数字AI底座模型（如语言模型）发展路径逐渐清晰，但难以实现物理世界的建模闭环。 - 物理AI将成为未来AI解决方案的重要方向，智能驾驶作为最先实现闭环的场景，值得重点关注。 ## 关键信息 - **技术趋势**：Transformer的出现标志着语言建模从受串行结构约束的算法问题，转变为可随算力和数据扩展的工程问题。 - **应用场景**：语言模型已从特征提取器发展为任务执行器，具备理解与生成能力，并支持多任务适配。 - **未来方向**：在大模型时代，语言智能的发展将更加注重后训练优化与测试时计算，同时物理AI将成为下一个增长点。 - **风险提示**： - 技术迭代不及预期 - 大模型厂商ARR增速放缓 - 云服务商资本开支不及预期 - 智能驾驶及机器人商业化落地不及预期 ## 最新金股组合（截至2026/7/31） | 代码 | 简称 | 行业 | 总市值 (亿元) | 27EPS (元) | 28EPS (元) | 27PE | 28PE | |------------|--------------|--------------|---------------|------------|------------|--------|--------| | 2328.HK | 中国财险 | 非银 | 3,648 | 2.20 | 2.40 | 6 | 6 | | 300604.SZ | 长川科技 | 机械 | 1,647 | 4.80 | 6.55 | 54 | 40 | | 002371.SZ | 北方华创 | 机械 | 4,985 | 12.53 | 16.47 | 55 | 42 | | 600388.SH | 龙净环保 | 环保公用 | 226 | 1.38 | 1.59 | 13 | 11 | | 000848.SZ | 承德露露 | 食饮 | 92 | 0.69 | 0.71 | 13 | 13 | | 600415.SH | 小商品城 | 商社 | 702 | 1.19 | 1.39 | 11 | 9 | | 688141.SH | 杰华特 | 电子 | 514 | 1.38 | 4.75 | 83 | 24 | | 002428.SZ | 云南锗业 | 计算机 | 437 | 1.71 | 2.57 | 39 | 26 | | 688266.SH | 泽璟制药-U | 医药 | 323 | 2.43 | 3.63 | 50 | 34 | | 601899.SH | 紫金矿业 | 金属与新材料 | 8,511 | 3.59 | 4.26 | 9 | 8 | **数据来源**：Wind，东吴证券研究所 **注**：所对应市值、PE数据截至2026年7月31日，港股市值为港币，其余为人民币，汇率为0.86（HKDCNY），盈利预测源于东吴证券研究所。 ## 法律声明 本公众号为东吴证券研究所依法设立、独立运营的官方订阅号，所推送内容均来自于已正式发布的研究报告。如需了解详细研究信息，请参见东吴证券研究所发布的完整报告。本内容不构成投资建议，东吴证券及研究所不承担因使用本内容而产生的任何损失责任。未经授权，禁止复制、转载或修改内容。