2018年-中国信通院_深度学习技术选型白皮书2018年_37页_1mb

深度学习技术选型白皮书总结

核心内容

本白皮书由中国人工智能产业发展联盟发布，旨在为深度学习技术选型提供参考依据。白皮书从训练框架、推断框架及技术生态工具集三个维度系统梳理了深度学习技术体系，结合企业实际需求，分析了技术选型因素，并提出了选型指标体系，同时对软件框架存在的问题及技术发展趋势进行了研判。

主要观点

1. 深度学习框架是人工智能产业化落地的核心

• 深度学习算法通过封装至软件框架的方式供开发者使用。
• 框架实现对算法、数据及计算资源的管理，起到承上启下的作用。
• 企业可根据自身业务需求选择开源或闭源框架，但当前主流框架多为开源。

2. 深度学习框架的分类

• 按应用场景分为云端训练、云端推断和端侧推断框架。
• 云端训练框架对算力要求高，需分布式计算技术支持。
• 云端推断框架需考虑效率与并发性。
• 端侧推断框架需满足功耗、性能及多硬件平台适配等限制条件。

关键信息

一、深度学习训练框架技术选型

1. 应用现状

• TensorFlow：生态成熟，功能完备，支持多种算法，适用于大规模应用系统。
• Caffe/Caffe2：在计算机视觉领域表现优异，适合快速部署与产品化。
• PaddlePaddle：我国自主研发，支持大规模工业级模型训练，中文支持良好。
• MXNet & Keras：适合快速实现与算法调参，提升开发效率。

2. 产业新需求

• 开源框架无法完全满足实际生产需求。
• 算法在多平台间切换需重复开发，提高成本。
• 训练框架与硬件平台耦合度高，影响开发效率。

3. 选型考虑指标体系

二、深度学习推断框架技术选型

1. 应用现状

• 推断框架分为终端和服务器端两类。
• 终端推断框架包括TensorFlow Lite、Core ML、Paddle-Mobile、NCNN等。
• 服务器端推断框架以TensorRT为代表，优化程度高，但对算子支持不完善。

2. 产业新需求

• 推断框架体系碎片化，缺乏统一工具集。
• 兼容性、集成度、多硬件并行处理及端侧优化支持不足。
• 企业需自研或定制，导致开发成本高、进度慢。

3. 选型考虑指标体系

三、深度学习技术生态工具集

1. 深度学习编译中间件：如CUDA、Intel Inference Engine、NNVM/TVM，支持多框架模型转换与优化。
2. 数据及模型表示格式：如TFRecord、RecordIO、ONNX、NNEF等，提高模型可移植性。
3. 深度学习可视化工具：如TensorBoard、VisualDL、Facets，提升开发效率。
4. 标准模型算法资源库：如TensorFlow Model Zoo、PyTorch Model Zoo等，提供多种模型直接调用。
5. 模型压缩优化工具集：如PocketFlow，提供通道剪枝、权重稀疏化、量化等工具，实现模型压缩与加速。

趋势展望

• 安全问题：需加强数据安全与模型加密。
• 资源共享问题：需推动封装后的资源共享。
• 数据前处理：需支持工业数据清洗与结构化。
• 运算效率问题：需提升工业大数据处理效率。
• 定制化需求：需支持灵活的算法库扩展。
• 工程化特性缺失：需增强训练、推断、可视化等完整功能支持。

合作机构

• 中国信息通信研究院
• 中兴通讯股份有限公司
• 华为技术有限公司
• 杭州海康威视数字技术股份有限公司
• 北京百度网讯科技有限公司
• 中国移动通信有限公司
• 中国电信股份有限公司
• 航天云网科技发展有限责任公司
• 中国联合网络通信有限公司
• 小米科技有限责任公司