学习笔记：ResNet（残差网络）详解-优快云博客

本文链接：https://blog.youkuaiyun.com/qq_52635735/article/details/146840320

1、传统网络的问题

在VGG中，卷积网络达到了19层，在GoogLeNet中，网络史无前例的达到了22层。那么，网络的精度会随着网络的层数增多而增多吗？在深度学习中，网络层数增多一般会伴着下面几个问题：

1）计算资源的消耗

2）模型容易过拟合

3）梯度消失/梯度爆炸问题的产生

问题1可以通过GPU集群来解决，对于一个企业资源并不是很大的问题；问题2的过拟合通过采集海量数据，并配合Dropout正则化等方法也可以有效避免；问题3通过Batch Normalization也可以避免。貌似我们只要无脑的增加网络的层数，我们就能从此获益，但实验数据给了我们当头一棒。

作者发现，随着网络层数的增加，网络发生了退化（degradation）的现象：随着网络层数的增多，训练集loss逐渐下降，然后趋于饱和，当你再增加网络深度的话，训练集loss反而会增大。注意这并不是过拟合，因为在过拟合中训练loss是一直减小的，当网络退化时，浅层网络能够达到比深层网络更好的训练效果。

从信息论的角度讲，由于DPI（数据处理不等式）的存在，在前向传输的过程中，随着层数的加深，Feature Map包含的图像信息会逐层减少，而ResNet的直接映射的加入，保证了 $l+1$ 层的网络一定比 $l$ 层包含更多的图像信息。

2、残差网络(ResNet)

2.1 残差块

ResNet引入了"跳跃连接"（skip connection）或"捷径连接"（shortcut connection），让网络可以学习输入与输出之间的残差（差异）而非直接学习输出：

$x_{l+1} = x_{l} + F(x_{l},W_{l})$

残差块分成两部分直接映射部分和残差部分。 $h(x_{l})$ 是直接映射，反应在图1中是左边的曲线； $F(x_{l},W_{l})$ 是残差部分，一般由两个或者三个卷积操作构成，即图1中右侧包含卷积的部分。

可以通俗理解为下一层的输入直接等于上一层输入加上某个东西。

为什么残差结构的resnet可以叠加到1000多层？

Resnet下一层的信息是直接由上一层的信息加上一层的信息经过某些操作得到的，也就是说下一层看到的信息基本上看全了上一层所有看到的信息，即在残差结构当中它的信息的传递，信息的损失不是特别的严重。

其他网络叠加很多层之后为什么没办法训练呢？

从信息传递的方向来说，信息在每层传递的过程当中，它损失的太多了，所以信息传到后面就没办法继续训练了。

这种结构使得：

1）即使 $h(x_{l}) = 0$ ，网络也能保持恒等映射

2）梯度可以直接通过捷径连接反向传播，缓解梯度消失

3）网络可以更容易地学习微小变化

2.2 残差块的结构

ResNet有多种深度版本（如18、34、50、101、152层），主要分为两类：

1）普通残差块（用于ResNet-18/34）

输入 → 卷积1 → 批归一化 → ReLU → 卷积2 → 批归一化 → 相加 → ReLU → 输出
        |___________________________________________↑

包含两个 3×3 卷积层，不改变特征图尺寸（若需下采样，在跳跃连接中使用 1×1 卷积调整维度）。

2）瓶颈残差块（用于ResNet-50/101/152）

输入 → 1x1卷积（降维） → 3x3卷积 → 1x1卷积（升维） → 相加 → ReLU → 输出
        |____________________________________________↑

通过 1×1 卷积先降维再升维，减少计算量（如将256维先压缩至64维，再恢复），这种设计减少了计算量，使网络可以更深。

为什么更深层次的resnet需要用瓶颈残差块？

深层网络的参数量会急剧增加，瓶颈结构通过**“降维-卷积-升维”**的策略显著减少计算负担。

降维作用：1×1 卷积先减少通道数（如256→64），迫使网络在低维空间学习更紧凑的特征，避免高维特征中的冗余信息。

升维作用：最后一步 1×1 卷积恢复通道数，同时引入额外的非线性（配合ReLU），提升特征表达能力。

2.3 ResNet的整体结构

ResNet通过堆叠多个残差块构建深层网络，典型结构如下：