2025-04-21-浙江大学-大模型_从单词接龙到行业落地_53页_8mb

1. 引言

• 大语言模型从单字词预测（即“单词接龙”）发展到图灵测试思想的巨人模仿游戏，进而实现行业领域知识自动化，如脑信电信号处理、电力负荷预测等。
• 主讲人杨洋（浙江大学）利用教学素材（含网络资源）对大模型技术原理与应用进行分享，强调行业落地的潜力。

2. 大模型基石：图灵测试与基础演化

• 图灵测试核心思想：通过人机对话交流模式，判断机器能否被误认为人类。测试强调模仿，但能力有限。
• 图灵测试局限：机器可“模仿”人，但未定义理解与智能本质，且随学习深化演化。

3. 大语言模型：从统计语言到思维链推理

• “单词接龙”机制：基于Transformer注意力机制计算下一个词的概率，实现通用语言建模。
• 预训练+微调范式：
  • 预训练：利用45TB以上数据（网页、书籍、对话等）学习基础语言模式。
  • 监督微调（SFT）：使用人类标注数据调整模型适应特定任务。
  • 指令微调：增强模型对多指令泛化能力；强化学习（RLHF）可优化人类偏好一致性。
• 推理优化技术：
  • 思维链（CoT）引导模型生成多步推理，提升复杂问题解答率。
  • 推理时采样扩展（Test-time Scaling）延长推理步骤以修正低质量生成。

4. 应用创新：行业场景案例

• 智慧评审平台（评审叮当）：整合领域知识库，提供合规性和技术文档智能评审。
• 癫痫预测模型（Brant）：利用颅内脑电信号数据预训练，实现癫痫波识别、信号插补等泛化应用。
• 电力负荷预测（PowerPM）：构建电力时序模型，解决窃电检测、负荷预测等业务痛点。

5. 技术挑战与解决方案

• 三大核心问题：
  • 幻觉（生成不实信息）、偏见（数据带来的不公正假设）、过时（知识截止且缺乏更新）。
• 检索增强生成（RAG）：通过外部数据库补充事实、集成轻量级领域应用。
• 慢思考引导：鼓励生成透明推理链（如思考-回答标签结构），模仿人类理性思维过程。

6. 减少幻觉的强化学习路径

• 标注挑战：思维链过程标注成本高、答案不唯一。
• 多类型奖励模型：
  • 准确性奖励：验证数学题、编程题解答正确性。
  • 格式奖励：确保输出结构清晰（如要求在特定标签中标注推理）。
• 端到端策略优化：如DeepSeekR1等模型通过策略网络和价值网络配合，打磨语言推理能力。

7. 行业落地与未来展望

• 大模型赋能领域：
  • 脑信号分析可扩展至情绪识别、健康预警。
  • 电力系统支持负荷预测、窃电辨识、家庭用能优化。
• 技术路径：预训练-微调-思维链强化（Simulate-Time Scaling）的串联式发展，实现跨领域泛化能力。

💎结论：大模型从语言模拟迭代到问题求解，通过预训练-通用增强能力建模，支持从医疗、电力到评审等垂直行业知识自动化。