Network in Network论文笔记_network in network out-优快云博客

本文链接：https://blog.youkuaiyun.com/huhu_hhh/article/details/120502175

Network in Network（NIN）模型通过使用多层感知机（MLPConv）替代传统的广义线性模型，引入非线性特征提取。MLPConv的多层结构增强了特征的表达能力，而全局平均池化取代全连接层，减少了过拟合风险，同时提高了模型对输入尺寸变化的鲁棒性。全局平均池化不仅简化了网络结构，还起到了正则化的效果，避免了dropout的需要。实验表明，这些改变提升了模型的性能和解释性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Network in Network

Introduction

传统卷积：广义线性模型（Generalized Liner Model，GLM），提取的浅层特征。只有数据线性可分时可以达到好的效果。
NIN：利用非线性模块（micro network，本文采用多层感知机——mlpconv）代替GLM。

GLM与mlpconv对比
GLM提取局部的线性特征，mlpconv包含多层感知机和全连接层。两者都是滑动窗形式提取局部特征。NIN由mlpconv这样的micro network堆叠而成，所以称为Network in Network。
在NIN的最后，直接将feature map后接global average pooling（全局平均池化）+softmax作为网络的最后输出。
（文中这里解释了传统的FC层类似于黑盒子所以很难解释信息如何在back propagation过程中传递？。而全局平均池化加强了feature map和类别信息之间的联系）传统的FC层容易过拟合，需要进行drop out正则化，而全局平均池化也充当了正则化的作用，解决了过拟合问题。

模型结构

MLP Conv

多层感知机（MLP）
1.利用back propagation进行训练，可以与传统的卷积层进行比较。
2.本身是一个深度网络，并且可以实现特征重复利用。
mlpconv公式如下：

在这里插入图片描述
上述公式可以理解为cross channel pooling，实现不同channel之间的信息传递。作用相当于一个1*1卷积核。
NIN网络整体结构

全局平均池化

传统卷积网络：Conv+FC+softmax。Conv看做特征提取，后续作为分类。
Global average pooling：对每个类别提取一个feature map，然后计算每个feature map的平均值。将结果送入softmax进行分类。加强了类别信息和feature map的内在联系，这样feature map就可以被当做类别的置信度。
另外，全局平均池化对于输入数据的空间变换结果更具有鲁棒性。

过拟合问题：传统的FC+softmax带来过拟合问题需要drop out来进行处理。而Global average pooling不含参数，所以不会带来过拟合的问题。