MindStudio_7.0.0_大模型训练性能瓶颈定位流程案例_15页_1mb

MindStudio大模型训练性能瓶颈定位流程总结

本文档概述了华为MindStudio大模型训练性能瓶颈的定位流程和实际案例。主要包括性能问题定位关键方法和典型问题解决策略。

常见性能问题场景

文档区分两大性能问题场景：开箱性能优化和性能长跑劣化。开箱性能优化涉及用户在昇腾平台上直接优化模型性能；性能长跑劣化发生在训练过程中，针对性能下降原因进行深度定位。

问题定位方法

性能问题定位的基本流程为：首先，使用AscendPyTorchProfiler采集性能数据，包括框架侧、CANN侧和device侧数据；其次，通过MindStudioInsight可视化工具定界问题，分析计算、调度或通信方向；第三，应用mstt Advisor辅助定位，自动分析性能数据并提供优化建议；最后，针对不同问题实施调优措施，如调整batch size或核绑融合，并重复采集数据验证效果。

AscendPyTorchProfiler支持插入配置参数，采集包括CPU、NPU等性能数据。MindStudioInsight提供概览、并行策略、时间线和通信矩阵等功能，帮助用户可视化分析瓶颈点。mstt Advisor能通过内置案例集自动识别问题并输出调优建议，进一步提升效率。

性能调优案例

案例涉及多模态模型训练性能劣化问题。通过MindStudioInsight定位为通信问题，具体表现为特定卡内存占用高，导致空闲时间延长。调优建议包括使用环境变量解决内存碎片问题。mstt Advisor也给出类似专家建议，验证了方法的可靠性。该案例展示了通过工具辅助快速诊断和解决性能问题的完整流程。