中国人工智能产业发展联盟-深度学习技术选型白皮书-2018.10-37页-1mb

深度学习技术选型白皮书总结

核心内容

本白皮书由中国人工智能产业发展联盟发布，旨在为企业应用深度学习技术选型提供参考，并为开源框架相关的服务及产品选型评测提供依据。文档围绕深度学习技术的三个主要维度：训练框架、推断框架以及技术生态工具集，系统梳理了基于开源的深度学习技术体系，并提出了选型指标体系和趋势展望。

主要观点

• 深度学习框架是人工智能产业化落地的核心，它负责算法封装、数据调用和计算资源使用，起到承上启下的作用。
• 训练框架与推断框架的应用场景不同，训练框架主要负责大规模数据模型训练，而推断框架则侧重模型优化与部署。
• 主流训练框架包括 TensorFlow、Caffe/Caffe2、PaddlePaddle、MXNet 和 PyTorch，各具优势，如 TensorFlow 生态成熟、性能稳定；Caffe/Caffe2 在计算机视觉领域表现优异；PaddlePaddle 在中文支持和工业场景下表现突出。
• 推断框架存在碎片化问题，尚未形成统一标准，各框架对硬件优化和兼容性支持不足，影响了模型在不同平台的部署效率。
• 技术生态工具集在解决模型可移植性、硬件适配性方面具有重要作用，包括编译中间件、数据及模型表示格式、可视化工具、模型资源库以及模型压缩优化工具。

关键信息

一、深度学习软件框架发展概述

• 深度学习框架是人工智能技术体系的核心，涵盖训练、推断及工具集。
• 框架分为云端训练、云端推断和端侧推断三类，每类对计算资源和性能要求不同。
• 企业主流使用开源框架，闭源框架较少，主要服务于打造技术壁垒。

二、深度学习训练框架技术选型

1. 应用现状

• TensorFlow：生态成熟，功能完备，适合大规模应用系统，支持GPU加速。
• Caffe/Caffe2：在计算机视觉领域表现优异，支持多机多GPU训练，模型移植方便。
• PaddlePaddle：国内自主研发，支持中文及工业级应用，具备分布式训练能力。
• MXNet：性能优越，支持多种编程语言，适合快速产品化和高性能服务。
• Keras：使用简便，适合快速开发和模型迭代。

2. 产业新需求

• 开源框架无法直接满足实际生产需求，需进一步工程化。
• 模型在不同平台间切换需重复开发，增加人力资源成本。
• 训练框架与硬件耦合度高，影响开发效率，需加强底层优化解耦。

3. 选型指标体系

• 生态建设：支持多种编程语言、教程及社区资源。
• 易用性：模型搭建、复用、跨平台支持、模型库及扩展能力。
• 性能：并发性、稳定性、特征规模、数据处理速度、硬件加速支持。
• 支持架构：支持 CPU、GPU、FPGA 等硬件，适应不同部署环境。
• 安全性：模型加密，保障企业核心技术。

三、深度学习推断框架技术选型

1. 应用现状

• 推断框架体系碎片化，缺乏统一标准。
• 云端推断以 GPU 为主，主流框架如 TensorFlow Lite、Core ML、TensorRT 等。
• 端侧推断面临硬件优化不足、算子支持有限等问题。

2. 产业新需求

• 推断框架需具备良好的跨平台支持和硬件兼容性。
• 模型优化、部署效率、低功耗、低延迟是关键需求。
• 缺乏统一的模型表示格式，影响模型迁移和部署。

3. 选型指标体系

• 易用性：模型优化功能、通用模型表示、跨平台支持。
• 性能：推断速度、启动时间、系统资源占用、功耗。
• 底层优化：对不同硬件（CPU、GPU、FPGA）的支持及专属优化工具。
• 安全稳定性：模型加密，保护知识产权。

四、深度学习技术生态工具集

• 编译中间件：如 CUDA、Intel Inference Engine、NNVM/TVM，用于解决模型跨平台和硬件适配问题。
• 数据及模型表示格式：如 TFRecord、RecordIO、ONNX、NNEF，推动模型迁移与共享。
• 可视化工具：如 TensorBoard、VisualDL，帮助开发者监控训练过程和数据分布。
• 标准模型算法资源库：如 Model Zoo，提供多种预训练模型和算法支持。
• 模型压缩优化工具集：如 PocketFlow，支持通道剪枝、权重稀疏化、量化等，实现模型性能提升与资源节省。

五、趋势展望

• 安全性：需加强数据保护和模型加密，防止数据泄露。
• 资源共享：现有封装资源难以实现共享，需统一标准。
• 数据前处理：框架需支持工业数据清洗和结构化，降低使用门槛。
• 运算效率：需提升分布式训练效率，优化单机与集群性能差异。
• 定制化：工业场景对定制化需求高，需增强框架的灵活性和扩展性。
• 工程化特性：需完善训练、推断、可视化、模型发布等功能。

六、合作机构

本白皮书由以下单位联合起草或支持：

• 中国信息通信研究院
• 中兴通讯
• 华为技术有限公司
• 杭州海康威视数字技术股份有限公司
• 北京百度网讯科技有限公司
• 中国移动通信有限公司
• 中国电信股份有限公司
• 中国联通网络技术研究院
• 航天云网科技发展有限责任公司
• 中国航天科工集团第三研究院第三总体设计部
• 小米科技有限责任公司

总结

本白皮书全面分析了深度学习训练和推断框架的应用现状、选型指标及发展趋势，强调了开源框架在推动人工智能产业发展中的重要作用。同时，指出当前框架在兼容性、性能优化、工程化支持等方面仍存在不足，需进一步完善技术生态与标准建设，以更好地支持企业业务发展和行业应用落地。