人工智能产业联盟-基于端侧推断任务的深度神经网络处理器基准测试首轮评估结果发布-2019.3-22页_2mb

AIIA DNN Benchmark V0.5 评估总结

核心内容

AIIA DNN Benchmark 是一个用于评估端侧深度神经网络处理器性能的基准测试工具，旨在为应用企业提供选型参考，同时为芯片企业提供第三方评测结果。该测试系统支持多种应用场景与网络模型，并提供包括 FPS、Top1、Top5、mAP、mIoU、PSNR 等关键性能指标，以全面反映AI加速器的处理能力。

主要观点

• AIIA DNN Benchmark 的目标是通过客观的指标体系，反映当前AI加速器在端侧推断任务中的能力。
• 测试覆盖了图像分类、目标识别、图像超分辨率、图像语义分割等典型应用场景。
• 评估方式包括版本迭代、指标扩展、评测对象丰富化，以及支持训练与推断任务。
• 项目目前支持开源，适用于 Android 和 POSIX 兼容系统，未来可扩展至更多平台。

关键信息

评测指标及场景

• 图像分类：使用 ImageNet 数据集，测试网络包括 Mobilenetv2、Resnet101、VGG16、Inceptionv3，评估指标为 FPS、Top1、Top5。
• 目标识别：使用 VOC2012 数据集，测试网络为 SSD_VGG16、SSD_MOBILENET_V1、SSD_MOBILENET_V2，评估指标为 FPS、mAP、mIoU。
• 图像超分辨率：使用 VDSR 网络，评估指标为 FPS 和 PSNR。
• 图像语义分割：使用 Fcn 和 Deeplabv3+，评估指标为 FPS。

评测对象与平台

• 测试设备（DUT）1：Kirin 980

  • 用于 Mate 20 系列移动终端芯片
  • 支持 HiAI/AndroidNN 框架
  • CPU 配置：2xA76@2.6GHz + 2xA76@1.92GHz + 4xA55@1.8GHz
  • GPU：Mali-G76@720MHz
  • 制程：7nm
  • 系统：Android 9
  • 支持模型：Mobilenetv2、Resnet101、VGG16、Inceptionv3

• 测试设备（DUT）2：ROC-RK3399-PC

  • 用于 AI 开发板
  • CPU：Cortex-A72MP2 + Cortex-A53MP4
  • GPU：Mali-T860MP4
  • 制程：28nm
  • 系统：Android、Ubuntu、Debian9
  • 支持框架：Tengine

评测结果分析

• 图像分类任务：

  • 在 Tengine 框架下，int8 量化模型在保持较低精度损失的情况下，速度显著优于 fp32 模型。
  • Mobilenetv2 在 int8 下表现最佳，FPS 达 17.414，Top1 准确率为 73.30%，Top5 准确率为 91.30%。
  • Inceptionv3 在 int8 下 FPS 为 2.2，Top1 准确率为 77.50%，Top5 准确率为 93.80%。
  • VGG16 在 int8 下 FPS 为 1.115，Top1 准确率为 68.20%，Top5 准确率为 89.60%。

• 目标识别任务：

  • SSD_MOBILENET_V2 在 int8 下 FPS 达 13.45，mAP 为 93.00%，mIoU 为 93.00%。
  • SSD_VGG16 在 int8 下 FPS 为 1.29，mAP 为 77.80%，mIoU 为 77.80%。
  • SSD_MOBILENET_V1 在 int8 下 FPS 为 8.47，mAP 为 69.80%，mIoU 为 69.80%。

• 图像超分辨率任务：

  • VDSR 网络在 ROC-RK3399-PC 上表现 FPS 为 1.39，PSNR 为 30.40 dB。

• 图像语义分割任务：

  • Fcn 在 ROC-RK3399-PC 上 FPS 为 1.39，Deeplabv3+ 不支持。

评测方法与工具支持

• 评测方法包括版本迭代、指标扩展、评测对象丰富化，以及支持训练与推断任务。
• 项目主要由以下单位支持：
  • arm 中国
  • 南京新一代人工智能研究院
  • 中国科学院计算技术研究所
  • 之江实验室
  • 清华紫光
  • 阿里巴巴集团
  • 百度
  • Synopsys
  • 云知声
  • 思必驰
  • 启英泰伦
  • 深鉴科技
  • Xilinx
  • Qualcomm

未来计划

• 场景迭代：增加语音交互、ADAS、智能摄像机等评测场景。
• 评测对象丰富化：覆盖更多应用领域。
• 指标扩展：增加功耗评估。
• 项目更新：Benchmark demo 将支持 Linux 系统。
• 结果发布：计划发布迭代结果。

开源与合作

• AIIA DNN Benchmark 项目已开源，支持 Android，未来可扩展至所有 POSIX 兼容系统。
• 用户可根据项目文档自行添加框架或模型。
• 项目将持续更新，AIIA 倡导开源合作，欢迎更多开发者参与。

致谢

• 感谢汪玉、郑南宁、楚庆等专家对项目的贡献。
• 项目联系方式：aiiabenchmark@163.com
• 项目官网：http://www.aiia.org.cn/
• GitHub 地址：https://github.com/AllABenchmark/AllABenchmark