首轮开源深度学习软件框架测试报告_34页_2mb

首轮开源深度学习软件框架测试报告总结

一、核心内容概述

本次测试由中国人工智能产业发展联盟开源开放推进组组织，旨在评估主流开源深度学习软件框架在实际应用中的性能表现，为产业界和学术界的技术选型提供参考依据。测试聚焦于深度学习训练任务的处理速度，通过吞吐率和加速比两个指标对TensorFlow、PyTorch、MXNet、OneFlow等框架进行系统性评测。

二、主要观点与关键信息

1. 深度学习软件框架发展现状

• 各主流深度学习框架（如TensorFlow、PyTorch、MXNet、PaddlePaddle等）已广泛应用于工业界和学术界。
• 框架在算法封装、数据调用、计算资源利用等方面已成为人工智能技术体系的核心。
• 中国近年来也涌现出多个自研开源框架，如旷视MegEngine、清华大学Jittor、华为MindSpore、一流科技OneFlow等。

2. 产业界选型需求

• 产业界关注框架在实际工程中的性能表现，特别是计算效率、设备互联延迟和分布式计算能力。
• 框架性能受软硬件环境影响较大，需通过统一环境进行公平评测。
• 由于框架在设计和实现上的差异，用户在选择适合其使用场景的框架时面临一定挑战。

3. 测试方案设计

• 测试对象：TensorFlow、PyTorch、MXNet、OneFlow（内部版本）。
• 测试案例：包括ResNet-50、VGG-16（计算机视觉）和BERT-Base（自然语言处理）。
• 测试指标：吞吐率（Throughput）和加速比（Speedup）。
• 测试环境：
  • 硬件：4个节点，每个节点4张NVIDIA Tesla V100 32GB GPU，网络环境为InfiniBand-RDMA，数据存储为本地SSD。
  • 软件：统一使用Ubuntu 16.04、CUDA 10.0、cuDNN 7.6、NCCL 2.4等版本。
• 测试组别：
  • Batch size（最小、相同、最大）。
  • 数据类型（真实数据、合成数据）。
  • 并行规模（1n1c、1n4c、2n8c、4n16c）。

4. 测试方法

• 采用预热训练方式，每次训练任务包含120个mini-batch，前20个作为预热，后100个用于计算性能指标。
• 使用Docker镜像确保测试环境的统一性和可复现性。

三、测试结果分析

1. ResNet-50 测试结果

• Batch size = 1：
  • OneFlow在真实数据和合成数据下均表现出较高的吞吐率。
  • PyTorch在多机并行下加速比相对较低。
• Batch size = 64：
  • TensorFlow在多机下吞吐率和加速比有所提升。
  • OneFlow和MXNet在多机下表现出更高的吞吐率和加速比。
• Batch size = max：
  • TensorFlow在单机状态下吞吐率较高，且支持更大的batch size。
  • OneFlow在多机并行下表现优异，MXNet在部分并行规模下因显存不足导致任务失败。

2. VGG-16 测试结果

• Batch size = 1：
  • 各框架性能表现不稳定，未能展示理想的加速能力。
• Batch size = 64：
  • MXNet在2n8c下因显存不足无法完成训练。
  • OneFlow在多机并行下表现出更高的吞吐率和加速比。
• Batch size = max：
  • TensorFlow和OneFlow吞吐率接近，TensorFlow加速比更高。

3. BERT-Base 测试结果

• Batch size = 1：
  • OneFlow吞吐率更高，TensorFlow加速比更好。
• Batch size = 128：
  • 各框架性能相似，OneFlow吞吐率更高，TensorFlow加速比更好。
• Batch size = max：
  • OneFlow吞吐率相对更高，支持更大的batch size。
  • TensorFlow加速比表现更优。

四、结论

• 各开源深度学习框架在不同测试条件下表现出不同的性能特点。
• TensorFlow在部分场景下硬件利用率和扩展能力低于MXNet和OneFlow。
• PyTorch在单机性能接近其他框架，但在多机多卡扩展时表现较弱。
• 中国自主研发的框架如OneFlow在大规模分布式训练中展现出良好的性能潜力。

五、未来工作计划

1. 完善测试指标：考虑生态建设、易用性、支持架构、稳定性等因素。
2. 丰富测试案例：增加更多贴近实际应用场景的测试任务。
3. 增加测试对象：纳入更多中国自研框架，如百度PaddlePaddle、华为MindSpore等。
4. 延伸测试范围：制定深度学习训练平台的性能评估规范，进一步开展评估评测工作。

六、联系方式

• 刘硕：13426019405，liushuo1@caict.ac.cn
• 张哲煜：18514502903，zhangzheyu@caict.ac.cn