> **来源：[研报客](https://pc.yanbaoke.cn)** # 智能体开发平台 AgentArts 运营运维总结 ## 核心内容 AgentArts 是华为云计算技术有限公司推出的智能体开发平台，它提供了智能体的观测、评估、运维等能力，帮助开发者全面掌握智能体运行状态，实现智能体的全程可观测性与高效运维。 ### 智能体观测 AgentArts 的观测功能通过在请求处理的关键节点插入探针，自动采集调用链、指标、日志等信息，构建完整的调用链（Trace），并通过可视化界面展示，帮助开发者快速定位问题、分析性能瓶颈、理解用户行为。 #### 核心能力 观测功能覆盖以下几类关键数据： - **智能体概览**：包括业务指标（如Tokens消耗、响应成功率等）和运营指标（如用户数、应用总数等），用于监测智能体的业务表现和资源使用情况。 - **调用链分析**：记录请求从发起到响应的完整路径，展示各组件的调用顺序、耗时与状态，用于性能优化与故障排查。 - **会话分析**：记录用户与智能体的交互过程，帮助提升用户体验与服务质量。 - **智能体运行分析**：包括高代码智能体、沙箱工具、网关等组件的运行状态，便于统一监控与管理。 #### 基础概念 - **Trace**：一次完整请求的全生命周期记录，用于分析调用路径和性能。 - **Span**：Trace 中的独立操作步骤，如模型调用或函数调用。Root Span 是整个请求的起点，子Span记录更细粒度的操作信息。 - **元数据**：运行过程中的键值对集合，存储运行实例的补充信息，如应用版本、调用模型名称等。 - **标注**：附加在Span上的自定义信息，用于分类、筛选和标记特殊事件，支持回流至评测集用于定向评估。 - **指标**：反映系统运行状态和性能健康度，如Tokens消耗、请求数、错误数、平均响应时间等。 - **日志**：记录智能体运行过程中的事件，包含时间戳与详细内容，用于排查问题。 #### 数据上报 - **平台原生应用**：系统默认开启数据上报，开发者可在“提交版本”页面配置数据上报开关。 - **高代码应用**：需要开发者手动配置接入并开启数据上报开关，支持将本地开发的智能体接入AgentArts平台。 #### 数据上报方式 - **日志记录**：上报至云日志服务LTS。 - **调用链**：上报至应用性能管理APM。 - **指标**：上报至应用运维管理AOM。 #### 上报流程 1. 在平台创建智能体时，系统自动开启数据上报。 2. 开发者可手动关闭数据上报开关。 3. 数据上报后，可查看智能体运行时、沙箱工具、网关等组件的日志信息。 #### 费用说明 - 观测界面展示数据不收费。 - 数据上报至其他服务（如LTS、APM、AOM）会产生管理费用，具体费用请参考对应服务的计费说明。 ## 主要观点 - **可观测性**：AgentArts 提供全面的可观测性能力，帮助开发者和运维人员理解智能体的运行状态。 - **统一监控**：平台支持对智能体、沙箱工具和网关的统一观测，打破本地运行的信息壁垒。 - **数据回流**：支持将Trace数据和评估结果回流至评测集，用于定向评估和优化。 - **灵活配置**：支持按场景筛选、标注和回流，提升评估效率和准确性。 - **性能优化**：通过调用链分析、指标监控等手段，开发者可识别性能瓶颈并进行优化。 ## 关键信息 ### 数据上报机制 - **平台原生应用**：默认开启数据上报，需在“提交版本”页面配置。 - **高代码应用**：需手动配置接入并开启数据上报开关。 - **数据存储**：上报后的数据存储在LTS、APM、AOM等服务中，费用按需收取。 ### 观测数据类型 | 数据类型 | 描述 | |---------|------| | **日志** | 记录智能体运行过程中的事件，用于问题排查 | | **调用链** | 展示请求从发起到响应的完整路径，用于性能分析 | | **指标** | 反映系统运行的宏观状态，如Tokens消耗、响应成功率等 | | **元数据** | 存储运行实例的补充信息，如应用版本、调用模型名称等 | | **标注** | 附加在Span上的自定义信息，用于分类、筛选和标记特殊事件 | ### 评估功能 - **评测集**：支持人工创建、AI合成、回流Trace数据和评估结果。 - **评估器**：提供多种预置评估器，如正确性、AI味检查、任务完成度、轨迹质量等，用于多维度评估智能体表现。 - **评估任务**：支持创建在线和离线评估任务，便于实时或批量评估。 ### 应用场景 | 场景 | 问题 | 解决思路 | 处理结果 | |------|------|----------|----------| | 模型调用链路优化 | 响应时间过长 | 分析调用链路，定位耗时组件 | 响应时间缩短，用户体验提升 | | 模型输出不符合预期 | 输出结果异常 | 查看调用链详情，定位参数错误 | 优化Prompt，调用成功 | | Token消耗异常，成本飙升 | Token消耗激增 | 分析调用链，优化重复调用逻辑 | 成本可控，响应高效 | | 智能体评测 | 需要量化评估 | 收集Trace数据并回流至评测集 | 识别高频问题，提升准确率 | ## 结构说明 - **观测功能**：包括智能体概览、调用链分析、会话分析、智能体运行分析等。 - **数据上报**：分为平台原生自动上报和高代码集成上报两种模式。 - **评估功能**：包括评估器、评测集、评估任务等，支持多种评估维度。 - **费用说明**：观测界面展示数据不收费，但数据上报至其他服务会产生费用。 ## 常见问题与解决方案 - **数据未显示**： - 检查时间范围，确认是否在智能体交互期间。 - 检查数据来源，确认是否选择了正确的应用或数据来源。 - **数据有延迟**： - 数据统计通常存在约1分钟的延迟，建议等待后刷新页面查看。 ## 总结 AgentArts 提供了智能体的全生命周期观测与评估能力，支持平台原生和高代码应用的数据采集与分析，帮助开发者全面掌握智能体运行状态，实现性能优化、故障排查与服务质量提升。同时，平台提供多种评估器和评测集，支持对智能体进行多维度评估，进一步提升智能体的稳定性和准确性。