大模型时代的可观测技术探索与实践_21页_3mb

大模型时代的可观测技术总结

作者介绍

陈真，蚂蚁集团智能可观测负责人，拥有长达10年的可观测领域技术架构设计及产品研发经验。曾任IBM企业级监控产品，及其在蚂蚁集团可观测科技产品商业化和蚂蚁集团内部可观测平台Antmonitor及开源平台HoloInsight的负责人。他的工作支撑了内部百万机器集群及分钟级数十TB数据的处理规模。

核心内容

本次演讲探讨了大模型时代（如GPT-3、LLMs等）的可观测技术，强调了大模型工程、AI-Infra可观测体系的构建，以及在蚂蚁集团的实践和开源贡献。

大模型工程可观测体系

• 覆盖大模型训练、推理和应用开发的全流程可观测需求。
• 关键痛点包括长训练时间（例如，用1024张A100卡训练1750亿参数模型需34天），需关注资源利用率、硬件故障、模型收敛等问题。
• 多维时序模型用于监控指标（如请求成功率、耗时）、日志、链路和事件，支持跨云、端到端分析。

AI-Infra可观测实践

• 蚂蚁集团自研产品Antmonitor解决了海量用户高频交易和双11等场景下的全息可观测需求。
• 技术架构包括可插拔式组件、Cloud-Native设计，支持OpenTelemetry、Prometheus等标准协议。
• 案例：资源多维分析、TensorBoard集成以监控训练指标、智能告警减少异常、推理服务多维度性能监测。

技术开源

• HoloInsight是蚂蚁集团开源的云原生可观测产品，集数据采集、洞察分析和智能运维于一体，核心代码已开源，支持阿里云、Aws等生态。
• 部分LLMOps插件（如LangChainMonitor）开源，提供针对开放AI模型（如OpenAI）的观测能力，包括token消耗跟踪和性能指标监控。

结论

陈真的分享强调了大模型时代对可观测技术的高需求，展示了蚂蚁集团的经验、产品创新和开源计划，旨在推动智能化运维和高效AI基础设施管理。