2017-【技术驱动未来分会场】CNN_Architecture_Design：From_Deeper_to_Wider_66页-8mb

报告摘要

文档总结：CNN架构设计：从更深到更宽

核心内容

本文档主要探讨了卷积神经网络（CNN）架构设计的发展趋势，特别是从“更深”到“更宽”的转变。重点介绍了不同深度和宽度的CNN模型及其在图像分类任务中的表现，包括AlexNet、VGGNet、GoogLeNet、ResNet、Highway、DenseNet、Deeply-Fused Nets（DFN）、Interleaved Group Convolutions（IGC）以及Google的Xception网络。文档还讨论了不同网络结构在性能、模型大小和计算复杂度方面的比较。

主要观点

深度的重要性：早期的CNN模型如AlexNet和VGGNet通过增加网络深度显著提升了图像分类的性能。例如，ResNet通过引入残差连接，使得网络可以训练得更深（如ResNet-152），从而提高了准确率。
宽度的潜力：随着深度的增加，模型容易出现过拟合，因此研究者开始探索通过增加网络宽度来提升性能。通过使用更宽的网络结构，可以在保持模型大小和计算复杂度的同时，获得更高的准确率。
多路径多尺度网络：DFN是一种多路径多尺度网络，通过合并和并行处理不同路径的信息，提升信息流动效率。这种设计在多个数据集上表现优异，如CIFAR-10和CIFAR-100。
Interleaved Group Convolutions (IGC)：IGC是一种改进的分组卷积方法，通过在不同分组之间进行交错连接，使得模型在保持较小参数量和计算复杂度的同时，提高了分类准确率。与传统的卷积相比，IGC在多个数据集上表现更优。
Xception网络：Xception是Google提出的一种改进版Inception网络，也是一种特殊的IGC结构。它在模型大小和计算复杂度相近的情况下，表现出较高的准确率。
性能对比：文档提供了多个模型在不同数据集上的性能对比，包括CIFAR-10、CIFAR-100和ImageNet。通过比较，可以发现IGC和DFN在多个指标上优于传统模型，如ResNet和DenseNet。

关键信息

模型结构与性能

模型	深度	参数量	CIFAR-10准确率	CIFAR-100准确率	ImageNet准确率
AlexNet	7层	-	-	-	-
VGGNet	19层	-	-	-	-
GoogLeNet	22层	-	-	-	-
ResNet-152	152层	60M	-	-	-
DFN	22层	-	-	-	-
DMRNet	56层	1.7M	4.94	24.46	23.66
DMRNet-Wide	32层	14.9M	3.94	19.25	-
IGC-L16M32	20层	17.7M	3.37	19.31	-
IGC-L32M26	20层	24.1M	3.31	18.75	-
Xception	-	-	-	-	-

性能对比（CIFAR-10）

模型	测试错误率	参数量	计算复杂度
ResNet	24.56	1.7M	2.1
DMRNet	24.41	1.7M	1.3
IGC-L16M32	3.37	17.7M	0.29
IGC-L32M26	3.31	24.1M	0.95

性能对比（CIFAR-100）

模型	测试错误率	参数量	计算复杂度
ResNet	27.22	1.7M	2.1
DMRNet	24.46	1.7M	1.3
IGC-L16M32	19.31	17.7M	0.29
IGC-L32M26	18.75	24.1M	0.95

性能对比（SVHN）

模型	测试错误率	参数量	计算复杂度
ResNet	2.01	1.7M	2.1
DMRNet	1.66	1.7M	1.3
IGC-L16M32	1.63	17.7M	0.29

性能对比（ImageNet）

模型	参数量（×10⁷）	计算复杂度（×10⁹）	训练错误率	验证错误率
ResNet（传统卷积）	1.333	2.1	21.43	30.58
DMRNet（IGC）	0.861	1.3	13.93	26.95

总结

深度与宽度的平衡：文档指出，虽然更深的网络在某些情况下表现更好，但更宽的网络（如DFN和IGC）在保持较小模型大小和计算复杂度的同时，也能获得更高的准确率。
信息流动优化：通过多路径和交错连接的设计，如DFN和IGC，可以显著改善信息流动，从而提升模型性能。
实际应用：IGC和DFN等结构适用于图像分类、检测、分割和NLP任务，具有广泛的适用性。
模型优化：通过实验验证，IGC在多个数据集上均优于传统卷积结构，显示出其在CNN设计中的潜力。

参考文献

Jingdong Wang, Zhen Wei, Ting Zhang, Wenjun Zeng: Deeply-Fused Nets. CoRR abs/1605.07716 (2016)
Liming Zhao, Jingdong Wang, Xi Li, Zhuowen Tu, Wenjun Zeng: On the Connection of Deep Fusion to Ensembling (Deep Convolutional Neural Networks with Merge-and-Run Mappings). CoRR abs/1611.07718 (2016)
Ting Zhang, Guo-Jun Qi, Bin Xiao, Jingdong Wang: Interleaved Group Convolutions for Deep Neural Networks. ICCV (2017)

展开完整摘要