2025大模型训练性能瓶颈定位流程案例-华为_15页_1mb

MindStudio 7.0.0 性能瓶颈定位流程总结

常见性能问题场景

大模型训练在昇腾设备迁移和训练中可能面临性能问题。常见的场景包括：

• 开箱性能优化：用户在昇腾平台上直接优化模型训练性能时出现的性能较差问题。
• 性能长跑劣化：训练过程中由于未知原因导致性能逐渐下降，需定位优化。

问题定位方法

性能问题的定位流程包括性能数据采集和分析：

1. 性能数据采集：使用Ascend PyTorch Profiler API插入训练脚本，采集框架侧、CANN侧和device侧性能数据。
2. 数据解析与分析：通过工具如MindStudio Insight可视化分析性能数据，定位问题方向（计算、调度、通信）。
3. 辅助工具：使用mstt advisor自动分析性能数据并输出调优建议（如运行命令：msprof-analyze advisor all -d 路径）。

性能调优案例

一个典型案例：多模态模型训练性能大幅下降，定位步骤包括：

• 使用Profiler采集数据。
• MindStudio Insight分析发现卡间Idle时间异常，指出内存碎片问题。
• 通过advisor验证建议，使用内存优化参数解决，最终提升性能。