华为-2025大模型训练性能瓶颈定位流程案例_15页_1mb

华为的MindStudio大模型训练性能瓶颈定位流程文档，针对昇腾设备上的训练性能问题提供了详细指导。主要包括两种常见场景：开箱性能优化，即用户在昇腾平台发现初始性能差时进行优化；性能长跑劣化，即训练过程中性能突然下降，需定位原因。问题定位方法分为三步：首先使用AscendPyTorchProfiler采集性能数据，包括框架侧、CANN侧和device侧数据；其次通过MindStudioInsight可视化工具分析数据，定位计算、调度或通信问题，支持多维度视图和卡间比对；最后可结合msttadvisor辅助工具获取专家建议。性能调优案例展示了多模态模型训练中性能劣化的问题，通过工具分析定位至内存碎片导致的空闲时间增加，提出使用内存配置优化解决。整体流程强调对症下药，帮助用户高效优化大模型训练，提升集群性能和效率。