智算集群基础设施运维通用技术要求_27页_618kb

报告摘要

智算集群基础设施运维通用技术要求总结

核心内容概述

本文件《智算集群基础设施运维通用技术要求》由龙蜥社区智算联盟联合多家企业共同编写，旨在为智算集群的运维体系提供标准化建议，解决当前智算运维中存在的软硬件协同断层、跨产品运维壁垒、智能运维技术碎片化、AI 智能体算力支撑功能缺失等问题。文件从运维参考架构、关键运维组件功能、GPU 运维、网络运维、作业运维五个方面提出系统性要求，支持端到端、可扩展、可异构的运维体系。

主要观点

运维体系需分层、解耦、可扩展：运维能力按对象分层，组件之间松耦合，支持独立使用或统一集成。
云原生与微服务化部署：运维组件需支持云原生架构和微服务化部署，适应现代数据中心的运维需求。
统一管理与监控：通过统一接口和平台实现对硬件、GPU、网络、作业等资源的集中管理与监控。
智能化运维：支持自动发现、告警自愈、故障诊断、性能调优等功能，提升运维自动化与智能化水平。
跨域协同：从业务视角联动软硬件资源，实现端到端运维，提升系统稳定性与性能。

关键信息汇总

1. 运维参考架构

分层设计：按对象分层，涵盖硬件、GPU、集群、网络、作业等关键组件。
统一管理：支持统一配置、性能、告警、日志管理。
可视化与监控：提供网络拓扑、作业拓扑、设备状态等可视化功能，支持跨层联动监控。

2. 硬件管理功能要求

设备纳管：支持通用服务器、AI 服务器、超节点、磁阵、分布式存储、网络设备等的统一接入与纳管。
配置管理：支持采集关键硬件配置信息，如 CPU、内存、硬盘、网卡、GPU 等。
性能管理：支持周期性采集硬件性能指标，包括温度、功耗、风扇、IOPS 等。
告警管理：支持实时采集与管理硬件告警，提供统一告警查询、导出、屏蔽、北向上报等功能。
日志管理：支持日志采集、分类管理、搜索、导出、备份及对接第三方日志系统。

3. GPU 运维功能要求

配置管理：支持 GPU 基本信息、ECC 模式、功率、温度告警门限等配置。
驱动管理：支持驱动安装、升级、回退、卸载、容器化管理、健康状态检测与自动恢复。
指标监控：支持温度、显存、计算利用率、功耗、时钟频率、PCIe 带宽、P2P 通道、错误与健康状态等指标监控。
健康检查：支持 XID 错误、设备不在位、驱动无法访问等健康检查。
故障自愈：支持 GPU 复位、节点复位等自愈操作，支持配置自愈策略。
故障诊断：支持诊断 GPU 存在性、硬件连通性、内存带宽、计算核心压力等。
性能压测：支持 GPU 算力、带宽、网络带宽、集合通信、训练与推理模型等性能压测。

4. 智算集群运维

资源监控：支持 Node、POD、vcjob、StatefulSet、Deployment、Host、VM、BM 等资源对象的监控。
性能管理：支持指标持久化、查询、导出、空间与时间汇聚、清理等功能。
告警管理：支持告警浏览、过滤、确认、反确认、清除、导出、屏蔽、北向上报、通知等功能。
日志管理：支持操作日志、安全日志、系统日志采集与集中管理，支持日志清理、搜索、导出、备份及北向接口对接。

5. 网络运维功能要求

拓扑可视化：支持全局网络拓扑、作业全路径拓扑、GPU 内部硬件拓扑展示。
网络检测：支持 MTU、IP 配置、路由策略、RoCE 无损配置、流控算法一致性检查。
网络性能压测：支持 RoCE 带宽/时延压测、Fullmesh 压测、CCL 原语压测。
网络连通性检测：支持 RoCE 连通性检测、Fullmesh 连通性检测、实时连通性检测。
网络亚健康检测：支持毫秒级流量采集、异常识别、慢网络分析。
网络调优：支持流量路径规划、断点续训、实时路径调整、报文乱序处理。

6. 作业运维功能要求

作业监控：支持作业生命周期状态、性能趋势、关键事件的可视化展示。
作业可观测：支持轻量级、低侵入式监控，确保数据格式标准化，支持与监控系统无缝集成。
作业劣化分析：支持基于 Profiler 的全栈性能分析，支持自动化生成瓶颈分析报告，分类性能瓶颈。
作业故障诊断：支持建立动态更新的故障模式库，结合日志、事件、资源监控、Profiler 数据进行智能根因分析，输出诊断报告。
性能调优：支持基于 Profiler 数据的性能调优，包括计算侧、数据侧、通信侧的优化策略。

总结

本技术要求为智算集群基础设施的运维提供了全面、系统、标准化的指导，覆盖硬件管理、GPU 运维、集群运维、网络运维、作业运维等多个关键领域。其核心目标是打通软硬件运维断点，提升运维效率和智能化水平，保障智算集群的稳定运行和高效调度。通过统一管理平台、自动化运维工具、智能诊断与调优机制，实现对智算集群的端到端运维能力，支撑 AI 智能体的高效运行。

展开完整摘要