IGCV1(Interleaved Group Convolutions for Deep Neural Networks)论文解读

原文链接：https://arxiv.org/abs/1707.02725
作者视频讲解链接：https://edu.youkuaiyun.com/course/play/8320/171433?s=1

Abstract

在本篇论文中，我们提出了一种简单的模块化网络结构，将其称为交错组卷积神经网络(IGCNets)。它的重点在于一个新颖的构建块：是由一对连续且相互交错的组卷积组成。这两个组卷积是互补的：

1. 在第一个组卷积中的卷积都是空间域卷积；第二个组卷积中的卷积是逐点卷积；
2. 第二个组卷积中同一个分组内的所有通道来自于第一个组卷积中不同分组；

我们讨论了这样做的一个代表性优势：比起普通卷积，我们在网络参数量和计算复杂度不变的同时，使得网络变得更宽了。

1. Introduction

论文的关注点在于减少卷积核的冗余，这种冗余来自于两个方面：空间方面和通道方面。在空间方面，小的卷积核例如3x3、1x3、3x1等尺寸已经开始被利用；在通道方面，组卷积和深度分离卷积也已经被研究。我们的工作属于在通道方面的卷积核设计。

在这篇论文中，我们展示了一种新颖的网络结构，它是一种交错组卷积块的堆叠结构。每个块包含两个组卷积：第一次组卷积核第二次组卷积，所谓组卷积就是在卷积时有两个分组。第一次组卷积是把输入通道划分为L个组，每个组包含M个通道，然后将L个分组卷积的结果拼接在一起得到新的输入其仍然有L*M个通道之后打乱顺序；第二次组卷积划分了M个组，每个组包含L个通道，且这L个通道来自第一次分组卷积时的不同组。同时第一次卷积做的是空间域卷积，第二次做的是逐点卷积。Figure 1展示了IGC块：

众所周知，组卷积和使用稀疏卷积核的常规卷积操作是等价的：在不同分组内的通道没有连接关系。通常来讲，一个IGC块等价于两个稀疏矩阵做普通卷积操作产生一个密集核。我们展示了在相同数量的参数和计算复杂度下，IGC块要比空间卷积更宽。根据实验结果来讲，我们观察到在相同的参数量和计算复杂度下，使用IGC块堆叠的网络要比常规卷积的网络效果更好。

我们研究了与已经存在的相关模块之间的联系：

• 普通卷积和带有通道融合的组卷积都是交错组卷积，只是卷积核不同而已；
• IGC块的一种极限情况就是第二个组卷积只有一个分组，这和Xception非常接近；

我们的主要贡献在于：

• 我们展现了一种新颖的构建块——交错组卷积，它在参数和计算方面效率很高；
• 我们展示了在同等网络尺寸和计算复杂度下，我们提出的构建快要比常规组卷积块更宽，同时展现了优越的性能；
• 我们讨论了和常规卷积、Xception块、带有求和融合的组卷积之间的联系，说明了它们都是交错组卷积的特例；