智能体开发平台_AgentArts智能体运营运维-pdf_189页_37mb

智能体开发平台 AgentArts 运营运维总结

核心内容

AgentArts 是华为云计算技术有限公司推出的智能体开发平台，它提供了智能体的观测、评估、运维等能力，帮助开发者全面掌握智能体运行状态，实现智能体的全程可观测性与高效运维。

智能体观测

AgentArts 的观测功能通过在请求处理的关键节点插入探针，自动采集调用链、指标、日志等信息，构建完整的调用链（Trace），并通过可视化界面展示，帮助开发者快速定位问题、分析性能瓶颈、理解用户行为。

核心能力

观测功能覆盖以下几类关键数据：

• 智能体概览：包括业务指标（如Tokens消耗、响应成功率等）和运营指标（如用户数、应用总数等），用于监测智能体的业务表现和资源使用情况。
• 调用链分析：记录请求从发起到响应的完整路径，展示各组件的调用顺序、耗时与状态，用于性能优化与故障排查。
• 会话分析：记录用户与智能体的交互过程，帮助提升用户体验与服务质量。
• 智能体运行分析：包括高代码智能体、沙箱工具、网关等组件的运行状态，便于统一监控与管理。

基础概念

• Trace：一次完整请求的全生命周期记录，用于分析调用路径和性能。
• Span：Trace 中的独立操作步骤，如模型调用或函数调用。Root Span 是整个请求的起点，子Span记录更细粒度的操作信息。
• 元数据：运行过程中的键值对集合，存储运行实例的补充信息，如应用版本、调用模型名称等。
• 标注：附加在Span上的自定义信息，用于分类、筛选和标记特殊事件，支持回流至评测集用于定向评估。
• 指标：反映系统运行状态和性能健康度，如Tokens消耗、请求数、错误数、平均响应时间等。
• 日志：记录智能体运行过程中的事件，包含时间戳与详细内容，用于排查问题。

数据上报

• 平台原生应用：系统默认开启数据上报，开发者可在“提交版本”页面配置数据上报开关。
• 高代码应用：需要开发者手动配置接入并开启数据上报开关，支持将本地开发的智能体接入AgentArts平台。

数据上报方式

• 日志记录：上报至云日志服务LTS。
• 调用链：上报至应用性能管理APM。
• 指标：上报至应用运维管理AOM。

上报流程

1. 在平台创建智能体时，系统自动开启数据上报。
2. 开发者可手动关闭数据上报开关。
3. 数据上报后，可查看智能体运行时、沙箱工具、网关等组件的日志信息。

费用说明

• 观测界面展示数据不收费。
• 数据上报至其他服务（如LTS、APM、AOM）会产生管理费用，具体费用请参考对应服务的计费说明。

主要观点

• 可观测性：AgentArts 提供全面的可观测性能力，帮助开发者和运维人员理解智能体的运行状态。
• 统一监控：平台支持对智能体、沙箱工具和网关的统一观测，打破本地运行的信息壁垒。
• 数据回流：支持将Trace数据和评估结果回流至评测集，用于定向评估和优化。
• 灵活配置：支持按场景筛选、标注和回流，提升评估效率和准确性。
• 性能优化：通过调用链分析、指标监控等手段，开发者可识别性能瓶颈并进行优化。

关键信息

数据上报机制

• 平台原生应用：默认开启数据上报，需在“提交版本”页面配置。
• 高代码应用：需手动配置接入并开启数据上报开关。
• 数据存储：上报后的数据存储在LTS、APM、AOM等服务中，费用按需收取。

观测数据类型

评估功能

• 评测集：支持人工创建、AI合成、回流Trace数据和评估结果。
• 评估器：提供多种预置评估器，如正确性、AI味检查、任务完成度、轨迹质量等，用于多维度评估智能体表现。
• 评估任务：支持创建在线和离线评估任务，便于实时或批量评估。

应用场景

结构说明

• 观测功能：包括智能体概览、调用链分析、会话分析、智能体运行分析等。
• 数据上报：分为平台原生自动上报和高代码集成上报两种模式。
• 评估功能：包括评估器、评测集、评估任务等，支持多种评估维度。
• 费用说明：观测界面展示数据不收费，但数据上报至其他服务会产生费用。

常见问题与解决方案

• 数据未显示：
  • 检查时间范围，确认是否在智能体交互期间。
  • 检查数据来源，确认是否选择了正确的应用或数据来源。
• 数据有延迟：
  • 数据统计通常存在约1分钟的延迟，建议等待后刷新页面查看。

总结

AgentArts 提供了智能体的全生命周期观测与评估能力，支持平台原生和高代码应用的数据采集与分析，帮助开发者全面掌握智能体运行状态，实现性能优化、故障排查与服务质量提升。同时，平台提供多种评估器和评测集，支持对智能体进行多维度评估，进一步提升智能体的稳定性和准确性。