CNN: 1x1卷积层的精妙之处

最新推荐文章于 2025-04-21 09:22:00 发布

原创

最新推荐文章于 2025-04-21 09:22:00 发布 · 1.2k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#CNN #1x1卷积

1x1卷积在神经网络中主要用来改变矩阵维度和增加非线性。通过1x1卷积，可以有效降低计算量，实现特征图的降维或升维，同时保持矩阵性质不变，构建出各种结构的神经网络。在ResNet中的bottleneck结构中，1x1卷积用于创建从低维到高维再到低维的空间过渡，增加了网络的非线性程度，降低了计算复杂度，使得深层网络能更精确地逼近目标模型。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

现在各种神经网络都会用到1x1 conv，它到底起到什么作用呢？要回答这个问题，先从最经典的Inception模型说起，Figure 1是Inception-ResNet-v2的block架构图。

Figure 1: https://arxiv.org/pdf/1602.07261.pdf

作用一：改变矩阵维度

block中每个sublayer的第一层都1x1 conv，它在这里的作用之一是降维，减少运算量–feature map channel数越少，卷积操作需要的计算量越小。但就像图像压缩一样，压缩率越大丢帧越多，1x1 conv是如果做到在质量与速度的平衡的呢？

Figure 2中间图形就是1x1卷积核，左边的矩阵是input，而右边的正方形代表feature map中的一个grid，或一个pixel，它是1x1卷积核其中一个channel：(1x1x1)，与input矩阵对应pixel位置的pixel-wise向量：(1x1x32)的点积的结果。当input矩阵与1x1卷积核完成所有pixel位置（4x4）的点积计算后，会