卷积神经网络中用1*1 卷积有什么作用或者好处呢？

关注

转载最新推荐文章于 2026-03-11 00:12:44 发布 257 阅读 AI 写同款· GEO 优化 ›

ResNet解读和1×1卷积介绍深度卷积网络好在哪里？-----它可以加很多层，把网络变得很深，不同程度的层可以得到不同等级的特征。作者提出一个问题--一个网络只是简单的堆叠就好了嘛？——不是，当网络变得很深的时候，梯度会出现爆炸或者消失。一个解决方法，初始化时设置一个合适的权重，不要太大也不要太小。又或者在中间加入normalization（包括BN）,可以使得校验每个层之间的那些输出和它梯度的那些均值和方差。上述两个方法可以让网络收敛，但是网络变深后，性能会变差（不是过拟合造成的，因为训练误差和测试误差都会变得很差），所以现在网络虽阅读详情

公众号关注 “AI派”

设为 “星标”，重磅干货，第一时间送达！

AI派在读学生小姐姐Beyonce

Java实战项目练习群

长按识别下方二维码，按需求添加

640.webp (1).jpg

扫码添加Beyonce小姐姐

微信图片_20200223084351_副本.png

扫码关注

进Java学习大礼包

来自 | 知乎

作者 | 陈运锦

地址 | https://www.zhihu.com/question/56024942

个人的几点理解：

https://zhuanlan.zhihu.com/p/35814486

目录：

part I ：来源

part II ：应用

part III ：作用（降维、升维、跨通道交互、增加非线性）

part IV ：从fully-connected layers的角度理解

一、来源：[1312.4400] Network In Network （如果1×1卷积核接在普通的卷积层后面，配合激活函数，即可实现network in network的结构）

二、应用：GoogleNet中的Inception、ResNet中的残差模块

三、作用：

1、降维（减少参数）

例子1 : GoogleNet中的3a模块

输入的feature map是28×28×192

1×1卷积通道为64

3×3卷积通道为128

5×5卷积通道为32

左图卷积核参数：192 × (1×1×64) +192 × (3×3×128) + 192 × (5×5×32) = 387072

右图对3×3和5×5卷积层前分别加入了通道数为96和16的1×1卷积层，这样卷积核参数就变成了:

192 × (1×1×64) +（192×1×1×96+ 96 × 3×3×128）+（192×1×1×16+16×5×5×32）= 157184

同时在并行pooling层后面加入1×1卷积层后也可以降低输出的feature map数量（feature map尺寸指W、H是共享权值的sliding window，feature map 的数量就是channels）

左图feature map数量：64 + 128 + 32 + 192(pooling后feature map不变) = 416 （如果每个模块都这样，网络的输出会越来越大）

右图feature map数量：64 + 128 + 32 + 32(pooling后面加了通道为32的1×1卷积) = 256

GoogLeNet利用1×1的卷积降维后，得到了更为紧凑的网络结构，虽然总共有22层，但是参数数量却只是8层的AlexNet的十二分之一（当然也有很大一部分原因是去掉了全连接层）

例子2：ResNet中的残差模块

假设上一层的feature map是w*h*256,并且最后要输出的是256个feature map

左侧操作数：w*h*256*3*3*256 =589824*w*h

右侧操作数：w*h*256*1*1*64 + w*h*64*3*3*64 +w*h*64*1*1*256 = 69632*w*h,，左侧参数大概是右侧的8.5倍。（实现降维，减少参数）

2、升维（用最少的参数拓宽网络channal）

例子：上一个例子中，不仅在输入处有一个1*1卷积核，在输出处也有一个卷积核，3*3，64的卷积核的channel是64，只需添加一个1*1，256的卷积核，只用64*256个参数就能把网络channel从64拓宽四倍到256。

3、跨通道信息交互（channal 的变换）

例子：使用1*1卷积核，实现降维和升维的操作其实就是channel间信息的线性组合变化，3*3，64channels的卷积核后面添加一个1*1，28channels的卷积核，就变成了3*3，28channels的卷积核，原来的64个channels就可以理解为跨通道线性组合变成了28channels，这就是通道间的信息交互。

注意：只是在channel维度上做线性组合，W和H上是共享权值的sliding window

4、增加非线性特性

1*1卷积核，可以在保持feature map尺度不变的（即不损失分辨率）的前提下大幅增加非线性特性（利用后接的非线性激活函数），把网络做的很deep。

备注：一个filter对应卷积后得到一个feature map，不同的filter(不同的weight和bias)，卷积以后得到不同的feature map，提取不同的特征，得到对应的specialized neuro。

四、从fully-connected layers的角度来理解1*1卷积核

将其看成全连接层

左边6个神经元，分别是a1—a6，通过全连接之后变成5个，分别是b1—b5

左边6个神经元相当于输入特征里面的channels：6

右边5个神经元相当于1*1卷积之后的新的特征channels：5

左边 W*H*6 经过 1*1*5的卷积核就能实现全连接

In Convolutional Nets, there is no such thing as “fully-connected layers”. There are only convolution layers with 1x1 convolution kernels and a full connection table– Yann LeCun

参考：https://iamaaditya.github.io/2016/03/one-by-one-convolution/

文末福利


随着深度学习的蓬勃发展，越来越多的小伙伴们开始使用python作为主打代码，python有着种类繁多的第三方库，这里为大家从网络上收集了一些代码速查表，希望可以帮你在码代码时提速。



线性代数

python基础
scipy科学计算

spark

数据保存及可视化
numpy
pandas



bokeh

画图
matplotlib
ggplot


机器学习
sklearn

keras

tensorflow

算法
数据结构
复杂度

排序算法

上述速查表图片打包下载链接，获取方式如下：
1. 关注下方公众号 我是IT小王子
2. 在 我是IT小王子 公众号后台回复 ：alg 即可。

????长按上方二维码 2 秒
回复「alg」即可获取资料