ShuffleNet详解

ShuffleNet详解

论文《ShuffleNet：An Extremely Efficient Convolutional Neural Network for Mobile Devices》

1 主要思想

轻量级CNN网络近年备受关注，与传统的高准确度但较为复杂的CNN，轻量级网络受限实际任务中计算资源的限制，重点关注模型复杂度和准确度的权衡。

已存在一些SOTA的轻量级模型，如Xception、ResNeXt等，但在这些网络中的pointwise convolutions（1*1 conv）计算开销仍然较大。

文章提出了pointwise group convolutions，通过对pointwise convolutions进行分组，可以很大程度的降低其计算开销。除此之外，文章还提出了channel shuffle的操作来解决分组带来的副作用。最后，文章基于pointwise group convolutions和channel shuffle构建了ShuffleNet。

2 模型结构

2.1 pointwise group convolutions

近年提出的Depthwise sparable convolutions很大程度上减少了CNN网络的计算开销，但网络中的pointwise convolutions仍然开销很大。

利用分组卷积的思想，文章将pointwise convolutions进行分组，进一步减少CNN网络的计算开销。

对于pointwise convolutions，假设输入尺寸为H*H*C1，输出尺寸为H*H*C2，此时卷积计算量为H*H*C1*C2；此时对输入进