【京东科技(张静)】京东科技(张静):让运维更智能:大模型时代下京东科技的AIOps之路_6页_1mb
报告摘要
京东科技在大模型时代推进AIOps实践,构建智能运维Themis平台,涵盖异常检测、根因定位、业务可观测性和系统稳定性四大核心能力。其技术架构分为数据层、智能运维能力层及应用层,整合了指标监控、日志分析、告警处理、故障定位等功能模块。平台依托京东大数据体系,结合机器学习、深度学习、NLP等技术,通过知识图谱、智能基线、时序分析等手段实现运维智能化。
在异常检测方面,Themis平台采用多维指标异常检测与智能基线技术,对CPU、内存、I/O等关键指标进行突升突降识别,结合时序聚类、网络算法生成运维专家知识库,覆盖交易、缓存、数据库等核心业务场景。日志分析模块运用Bert等NLP技术实现日志语义理解,通过模板提取、序列预测、分类标注等手段,从海量日志中快速发现潜在问题。告警系统实现无阈值监控,融合告警聚类、关联分析、相似事件召回等功能,降低误报漏报率。
根因定位方面,平台整合APM调用链扫描、故障传播关系分析、因果推断等算法,支持多场景故障诊断。通过知识图谱与日志模板技术关联故障节点,实现故障全链路根源定位。内置40+智能故障定位场景,包括应用、主机、网络等组件,结合生成式大模型提升诊断效率。运维知识问答功能基于RAG技术实现人工与AI协同,支持意图识别和故障根因检索。
系统稳定性能力涵盖资源预测与硬件故障预警。利用机器学习对磁盘/表空间进行趋势预测,结合容量预估优化资源调度,提升大促期间资源利用率。在硬件故障预测中,采用半监督学习和主动迁移学习模式,通过时空数据关联增强特征,输入时间注意力模型提升硬盘故障预测准确性。同时,平台提供智能巡检、离群分析、趋势预测等工具,实现容量规划和告警降噪。
业务可观测性方面,Themis平台通过统一日志管理、链路追踪、代码行监控等手段,全面感知业务健康度。支持交易量、响应率、卡顿率等业务指标监控,结合链路拓扑分析用户行为轨迹。在故障处理中,通过动态智能基线、指标相似度分析、波形分析等技术,实现问题快速定位和修复。平台还具备事件预测、健康度评估等能力,为运维决策提供数据支撑。
核心技术包括:1)知识图谱构建覆盖新老设备与应用的统一视图,沉淀内部运维经验;2)大数据处理能力复用京东同款体系,实现日志实时存储与海量分析;3)AI算法融合强化学习、NLP等技术,提升故障发现与诊断效率;4)智能运维能力实现上下穿透,支持一站式排查。通过将大模型与传统运维工具结合,京东科技形成了智能运维与人工经验协同的技术底座,显著提升系统稳定性与运维效率。
试读结束,高清完整版pdf/doc/ppt,请点下载