1*1卷积是大小为1*1的滤波器做卷积操作，不同于2*2、3*3等filter，没有考虑在前一特征层局部信息之间的关系。我们从1*1卷积的两个主要使用来理解其原理和作用。
卷积核：可以看作对某个局部的加权求和，它是对应局部感知，它的原理是在观察某个物体时我们既不能观察每个像素也不能一次观察整体，而是先从局部开始认识，这就对应了卷积。卷积核的大小一般有1x1,3x3和5x5的尺寸。卷积核的个数就对应输出的通道数，这里需要说明的是对于输入的每个通道，输出每个通道上的卷积核是不一样的。比如输入是28x28x192(WxDxK,K代表通道数)，然后在3x3的卷积核，卷积通道数为128，那么卷积的参数有3x3x192x128,其中前两个对应的每个卷积里面的参数，后两个对应的卷积总的个数。
下面直接截图吴恩达老师的课件，做1*1卷积运算的理解。对于如下的二维矩阵，做卷积，相当于直接乘以2。
对于三维矩阵，做卷积。
当设置多个1*1filter时，就可以随意增减输出的通道数，也就是降维和升维。
1、Network In Network论文
最早出现在 Network In Network的论文中 ，使用1*1卷积是想加深加宽网络结构 。
2、Inception网络
在Inception网络(论文Going Deeper with Convolutions)中图像输入进来后，通常可以选择直接使用像素信息(1x1卷积)传递到下一层，可以选择3x3卷积，可以选择5x5卷积，还可以选择max pooling的方式downsample刚被卷积后的feature maps。 但在实际的网络设计中，究竟该如何选择需要大量的实验和经验的。 Inception就不用我们来选择，而是将4个选项给神经网络，让网络自己去选择最合适的解决方案。但是这些卷积滤波器的设计也会在计算上造成很大的消耗，由于3*3卷积或者5*5卷积在几百个filter的卷积层上做卷积操作时相当耗时，所以1*1卷积在3*3卷积或者5*5卷积计算之前先降低维度。
按照上面的说法，我们的这层的模型参数与输入的特征维数（28x28x192）,卷积核大小以及卷积通道数(包括三种卷积核，分别是1x1x64,3x3x128,5x5x32)，所以参数为：
参数：(1×1×192×64) + (3×3×192×128) + (5×5×192×32) = 153600
最终输出的feature map个数：64+128+32+192 = 416
池化层不引人参数！
feature map个数就是filter个数，一个滤波器在前一个feature map上进行一次卷积操作（特征抽取）会产生一个feature map或者叫通道、深度。
上图中在3x3，5x5 卷积层前新加入的1x1的卷积核为96和16通道的，max pooling后加入的1x1卷积为32通道。
图中该层的参数：
参数：（1×1×192×64）+（1×1×192×96+3×3×96×128）+（1×1×192×16+5×5×16×32）+（1x1x32）=15904
最终输出的feature map个数： 64+128+32+32=256
所以，加入1×1的卷积后，在降低大量运算的前提下，降低了维度。
3、1*1卷积作用
总结一下，1x1的卷积核可以进行降维或者升维，也就是通过控制卷积核（通道数）实现，这个可以帮助减少模型参数，也可以对不同特征进行尺寸的归一化；同时也可以用于不同channel上特征的融合。一个trick就是在降维的时候考虑结合传统的降维方式，如PCA的特征向量实现，这样效果也可以得到保证。
1*1卷积的主要作用有以下几点：
1、降维。比如，一张500 * 500且厚度depth为100 的图片在20个filter上做1*1的卷积，那么结果的大小为500*500*20。
2、加入非线性。卷积层之后经过激励层，1*1的卷积在前一层的学习表示上添加了非线性激励，提升网络的表达能力；
3、增加模型深度。可以减少网络模型参数，增加网络层深度，一定程度上提升模型的表征能力。
参考资料
[1] https://blog.youkuaiyun.com/ybdesire/article/details/80314925
[2] https://blog.youkuaiyun.com/a1154761720/article/details/53411365
扫一扫
1136
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
