2025年大模型智能体开发平台技术能力测试研究报告_21页_1mb

大模型智能体开发平台技术能力综合测试报告总结

一、测试背景与核心内容

随着产业智能化转型的加速，大模型驱动的智能体（Agent）在多个场景中展现出重要价值，尤其在知识增强、流程编排与智能决策方面。本次测试旨在评估阿里云百炼、腾讯云智能体开发平台、扣子及百度智能云千帆四个平台的技术实现路径与行业适配机制，重点围绕 RAG能力、工作流能力、Agent工具调用能力 三大核心维度展开。

二、RAG能力测试

1. 测试指标

• 检索精准度：召回相关文档的准确率与冗余信息过滤能力
• 知识覆盖广度：对领域知识的完整性及边缘信息处理能力
• 推理融合度：将检索结果与问题深度结合，生成逻辑连贯回答的能力
• 时效性响应：整体效率与动态知识更新适配性
• 多模态适配性：对文本、表格、图片等多元数据的处理能力
• 鲁棒性表现：对模糊问题与噪声数据的容错与修正能力

2. 测试实施与结果

测试覆盖 政策咨询、电商客服、销售数据分析 等6个典型场景，设计 500+个高质量问题，包含文本问答、结构化数据问答、图文问答等任务形式。

文本问答表现

• 各平台在文本处理上表现良好，纯文本问题得分普遍较高，均能实现意图识别与知识定位。
• 单文档问题存在少量“幻觉”信息，多文档问题准确率超80%，但存在信息遗漏问题。
• 扣子在API调用时出现内容无法获取的情况，但网页端表现正常。

结构化数据问答表现

• 阿里云百炼、百度智能云千帆、扣子均支持结构化数据导入模块，其中阿里云百炼和扣子提供数据库插件，支持多表关联查询与动态计算。
• 腾讯云采用后台自动化处理，简化用户操作，但流程可控性较弱。
• 阿里云百炼在跨表关联与多条件组合统计时出现信息遗漏与聚合误差，百度智能云千帆在单表统计与多表关联任务中表现稳定。

图文问答表现

• 各平台均具备OCR识别能力，但百度智能云千帆存在流程bug，未能成功调用上传图片。
• 阿里云百炼在网页端图片显示异常，导致配图正确率为0%。
• 腾讯云配图回答率较高（55%），在显式/非显式调用场景下表现优于其他平台。
• 图片输出质量控制机制普遍缺失，部分平台返回与答案无关的装饰性图片。

三、工作流能力测试

1. 测试指标

• 参数动态提取准确率
• 异常回退准确率
• 意图识别准确率
• 容错处理准确率
• 端到端流程准确率

2. 测试实施与结果

测试围绕 订单修改 场景，构建包含13条工作流、80+个问题的问题集，模拟多轮对话与复杂输入。

各平台表现

关键问题与差异

• 意图识别方面，除扣子外，其他平台在模糊问题上可能误判为操作意图。
• 参数提取在复杂场景下存在偏差，如多订单、地址等关键字段识别不准确。
• 流程容错处理表现良好，但部分平台在处理用户意图切换时仍需人工干预。

四、Agent能力测试

1. 测试指标

• 意图理解深度
• 操作协同性
• 反馈有效性
• 机制完备性

2. 测试实施与结果

测试基于 DeepSeek R1 推理模型，集成天气查询、数据分析、图表生成等6大类通用工具，设计40+个问题集，重点评估工具调用能力。

工具调用表现

• 各平台均能实现基础意图识别与工具匹配，但多工具协同与自动化闭环能力不足。
• 腾讯云智能体开发平台表现突出，凭借端到端流程打通能力与原生工具链支持，实现较为均衡的调用效果。
• 百度智能云千帆虽能生成代码，但未能实现代码执行结果的可视化输出，影响用户体验。
• 阿里云百炼、扣子在第三方工具调用中出现鉴权失败、字体渲染错误等问题，影响结果输出质量。

五、总结与展望

1. 当前平台能力总结

• 基础能力趋同：各平台在文本处理、流程控制等基础场景中已形成标准化能力。
• 产品路径分化：在复杂场景处理、多模态协同、工具生态建设等方面表现不一。
• 技术瓶颈：主要体现在多工具深度协同、技术实现稳健性、行业垂直工具适配等方向。

2. 未来发展方向

• 场景深度适配：提升智能体与真实任务需求的耦合精度，构建行业知识单元与任务模板。
• 技术链厚度构建：增强工具调用的稳定性与流程闭环能力，优化节点设计与状态控制。
• 生态广度拓展：推动第三方工具插件接入标准化，建设开放工具市场，实现“平台+生态”双轮驱动。

六、附：测试指标定义