浙江大学从大模型、智能体到复杂AI应用系统的构建——以产业大脑为例61页_12mb

浙江大学DeepSeek系列专题线上公开课（第二季）总结

核心内容

本次公开课围绕大模型、智能体以及复杂AI应用系统的构建展开，重点以“产业大脑”为例，探讨了当前大模型在推理能力上的提升、智能体的定义及其在复杂任务中的应用，以及如何通过大小模型协作构建更高效的AI应用系统。

主要观点

1. 大模型推理能力的提升

• 大模型在知识问答、数学、编程等任务上的表现达到新高度，甚至超过人类水平。
• 早期大模型在推理能力上存在明显短板，如容易产生幻觉、多步推理能力弱、推理不一致等。
• OpenAI的o系列模型（如o1/o3）和开源模型DeepSeek-R1在数学和代码推理任务上表现出色，DeepSeek-R1在MATH基准上达到87.2%的准确率。

2. 推理模型与思维链 (Chain of Thought, CoT)

• 推理模型通过Test-Time Scaling、强化学习、蒸馏等技术不断提升推理能力。
• 通过生成思维链，模型可以更准确地分解复杂问题，提高答案的准确性和深度。
• 少量高质量样本通过精心设计的提示词可以实现适用于特定领域的高性能推理模型。

3. 智能体 (AI Agent) 的定义与能力

• 智能体是能够自主执行任务、调用工具、与外部环境互动的系统。
• 与大语言模型（LLM）相比，智能体具有记忆、任务规划、工具调用等能力。
• 智能体通过多步骤链式调用模型和工具，实现复杂任务的执行。

4. 大小模型协作的生成式智能体

• 大语言模型负责任务规划和决策，AI小模型负责具体任务执行。
• 例如，HuggingGPT通过大模型进行任务拆解，小模型执行具体任务，如图像生成、图像分类、目标检测等。
• 通过这种协作方式，可以实现更复杂的任务，如根据图片生成描述并转换为语音。

关键信息

大模型能力的提升

• 大模型参数量从百亿到万亿规模。
• 在多个任务上表现出色，如文本生成、视频生成、代码生成、图像生成等。
• 多模态生成能力（如文生图、文生视频）不断涌现。

推理模型的挑战

• 早期模型在数学推理任务中容易出现错误，如简单的数值比较错误、多步推理错误。
• 专家指出，自回归大型语言模型（AR-LLMs）本质上是统计模式匹配工具，而非真正的推理系统。

智能体的构建

• 智能体的五层基石理论包括：
  • Models：调用大模型API。
  • Prompt Templates：使用提示模版进行任务规划。
  • Chains：链式调用模型，输出作为输入。
  • Agent：自主执行任务，调用外部工具。
  • Multi-Agent：多个智能体共享记忆，分工协作。

生成式智能体的应用

• 以HuggingGPT为例，智能体可以执行如图像生成、图像描述、语音合成等任务。
• 通过调用不同的AI模型，智能体能够完成复杂的任务流程，如从图像识别到生成描述再到语音输出。

产业大脑案例

• 通过四链融合（数据链、模型链、应用链、反馈链）实现产业智能化。
• 该案例展示了如何将大模型与智能体结合，构建适用于产业场景的复杂AI应用系统。

总结

• 大模型的推理能力迅速提升，但仍需结合思维链和外部工具来增强其推理能力。
• 智能体是实现复杂任务的关键，其构建依赖于大模型的规划能力与小模型的执行能力。
• 大小模型协作是未来AI应用系统的发展趋势，能够实现更高效、更智能的任务执行。
• 通过开源社区和工业界的共同努力，生成式智能体正在向“Everything App”愿景迈进。