【每周CV论文推荐】初学高效率CNN模型设计应该读的文章-优快云博客

欢迎来到《每周CV论文推荐》。在这个专栏里，还是本着有三AI一贯的原则，专注于让大家能够系统性完成学习，所以我们推荐的文章也必定是同一主题的。

高效率(紧凑)的CNN模型设计是深度学习在工业界落地的关键，今天给大家推荐初学者必读的一些文章。

作者&编辑 | 言有三

1 小卷积的使用

VGG很大，但它使用的卷积很小。在保证具有同样大小的输出和感受野的前提下，任何奇数的大卷积都可以使用多个3*3卷积来替代，

两个3*3的卷积能代替一个5*5的卷积；参数比例为3×3×2/(5×5)=0.72。三个3*3的卷积能代替一个7*7的卷积，参数比例为3×3×3/(7×7)=0.55，将近一倍的压缩，简单而有效。虽然VGG不是小卷积的初次实践者，但从它开始了解是很好的起点。

文章引用量：60000+

推荐指数：✦✦✦✦✦

640?wx_fmt=png

[1] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[J]. arXiv preprint arXiv:1409.1556, 2014.

2 1*1卷积

1*1卷积就是将普通卷积核半径变为1的卷积，影响了之后几乎所有的模型，将这个1×1的特殊卷积用于通道的降维和升维，已经成为很多紧凑模型设计不可缺少的组件，毕竟模型的宽度(通道数)对计算量和参数量的贡献巨大。

文章引用量：4000+

推荐指数：✦✦✦✦✦

640?wx_fmt=png

[2] Lin M, Chen Q, Yan S. Network in network[J]. arXiv preprint arXiv:1312.4400, 2013.

3 Inception/SqueezeNet

在VGG网络不能再通过加深得到进一步性能突破的时候，Inception[3]模型(又名GoogLeNet)使用了拥有不同感受野并行的多分支Inception结构，进一步加深了网络深度并有着更少的参数和更高的效率，成为当年的基准模型，其中起到关键作用的是1*1卷积。

随后，SqueezeNet[4]同样利用1*1卷积进行模型压缩，成为早期经典。

文章引用量：15000+

推荐指数：✦✦✦✦✦

640?wx_fmt=jpeg

[3] Szegedy C, Liu W, Jia Y, et al. Going deeper with convolutions[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2015: 1-9.

[4] Iandola F N, Han S, Moskewicz M W, et al. SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and< 0.5 MB model size[J]. arXiv preprint arXiv:1602.07360, 2016.

4 Xception/MobileNet/ResNext

通道的分组是设计高效网络常见的思想，关于它的来源可有详见之前的文章，【AI不惑境】移动端高效网络，卷积拆分和分组的精髓。

通道分组卷积的第一次大规模应用在Xception[5]中，在Mobilenet[6]中进一步发挥到极致，在Resnext[7]中也取得了很好的效果。如果你想了解更多的分组卷积的应用，就参考上述往期文章和有三AI知识星球吧。

文章引用量：2000+

推荐指数：✦✦✦✦✦

640?wx_fmt=png

[5] Chollet F. Xception: Deep learning with depthwise separable convolutions[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 1251-1258..

[6] Howard A G, Zhu M, Chen B, et al. Mobilenets: Efficient convolutional neural networks for mobile vision applications[J]. arXiv preprint arXiv:1704.04861, 2017.

[7] Xie S, Girshick R, Dollár P, et al. Aggregated residual transformations for deep neural networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 1492-1500.

5 CReLU/DenseNet

卷积神经网络中的参数存在冗余，网络的宽度对于参数量和通道的贡献非常大，如何提高通道的利用率是一个很重要的课题。

CReLU[8]采用了非常简单的网络互补技巧，DenseNet[9]则使用了密集的通道互补策略，都是非常有效的方法。

文章引用量：5000+

推荐指数：✦✦✦✦✦

640?wx_fmt=png

[8] Shang W, Sohn K, Almeida D, et al. Understanding and improving convolutional neural networks via concatenated rectified linear units[C]//international conference on machine learning. 2016: 2217-2225.

[9] Huang G, Liu Z, Van Der Maaten L, et al. Densely connected convolutional networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 4700-4708.

6 其他资料

因为是每周论文阅读，就不给大家推荐太多文章(每周10篇左右)。对于更高效(紧凑)的模型设计，这里给出的文章仅仅是冰山一角。如果你对模型优化感兴趣，有三AI知识星球中有更多的内容。

640?wx_fmt=jpeg