【论文精读】Network In Network（1*1 卷积层代替FC层 global average pooling）

Network In Network

摘要

​ 作者提出了一种新的深度网络结构称为“网络中的网络（$NIN$）”，目的是为了增强对感受野内图像块的辨别能力。

​ 传统的卷积层使用线性滤波器，其后跟着非线性激活函数，用他们两个的组合来扫描输入。相反，作者用一种更复杂的结构去构微建神经网络，以达到抽象感受野内数据的目的。

​ 作者将这种微网络结构用多层感知机的形式实例化。通过以和$CNN$相似的方式在输入上滑动微网络，就可以获得特征图。这些特征图将作为输入被传递至下一层。

​ 深度$NIN$能够通过堆叠许多个上述结构来实现，通过微网络来提升局部建模，作者能够利用在分类层的特征图上进行全局平均池化，这更容易解释并且比传统$FC$层更不具有过拟合的倾向。

​ 作者用$NIN$在$CIFAR-10$和$CIFAR-100$上展示了达到先进水平的性能，并且在$SVHN$和$MNIST$上表现良好。

1. 介绍

​ 下文中“概念”通俗理解就是特征的种类

传统卷积网络有什么问题？

​ $CNN$中的传统的卷积核对于图像块来说是一个广义线性模型（$GLM$），作者认为$GLM$所提取特征是低层次的，作者认为抽象意味着对于概念相同的变体的特征是不变的。用一种更强劲的非线性函数逼近器来替换$GLM$能够提增强局部模型抽象的能力。但是在变量是线性可分时，$GLM$的抽象能力很好，但是同类数据经常线性不可分，因此能够捕捉这种性质的表征经常是输入的高度线性不可分函数。

​ 在$NIN$中，$GLM$被替换为一种“微网络”结构，可看成是一种广义的非线性函数逼近器，作者选择多层感知机作为微网络的实现，他是一种通用的函数逼近器，能够用过反向传播训练。

​ 由此而来的，称之为$Mlpconv$的结构在$图1$中与$CNN$进行了对比。

相同点和不同点

​ 他们都将局部感受野映射为特征向量，但$Mlpconv$通过多层感知机（$MLP$）来完成映射，$MLP$由多个全连接层和非线性激活函数组成，此$MLP$在所有局部感受野之间共享，特征图通过在输入上滑动 $MLP$来获得，$NIN$的整体结构时多个$mlpconv$层的堆叠。

​ 作者没有采用传统CNN中的FC层进行分类，而是直接用全局平均池化对最后的$mlpconv$层取平均值作为类别的置信度，然后将产生的向量直接送入 $softmax$层。

平均池化带来的好处？

​ 在传统的CNN中，很难解释来自目标成本层的类别级信息是如何传递回前一个卷积层的，因为完全连接的层在两者之间充当一个黑匣子。相反，全局平均池化是一种更有意义，解释性更强的方式，因为它加强了特征图和种类之间的对应关系，这是通过使用微网络进行更强的局部建模来实现的。

​ 另外，$FC$层更倾向于过拟合，并且严重依赖于$dropout$正则，但是全局平均池化本身就是一种结构正则化方法，能够简单的组织过拟合。

2. 卷积神经网络

传统卷积神经网络的问题：

​ 对于线性可分的表征来说，卷积神经网络用来进行特征抽象是足够的。但是能够实现好的抽象的表征往往是输入数据的高度线性不可分函数。传统$CNN$中，可以通过使用一整套滤波器来进行补偿，以覆盖潜在概念的所有变体。（通俗来讲就是也能找到属于该种类的线性不可分的样本。）即单个线性滤波器能够学习检测同一个种类的 不同表现形式。但是对于一个概念用太多滤波器会对下一层施加额外的负担，下一层需要考虑上一层中变体的所有组合。

​ $CNN$中越高层的滤波器向原始输入中投射的区域越大。通过组合低等级的属性种类来产生高等级的属性种类。因此，作者认为在将低等级特征组合成高等级特征之前，就在每个局部块上做好抽象比较好。

之前的改进工作

​ 在最近的 m a x o u t maxout