ResNet模型详解及代码复现

目录

一. ResNet网络模型

ResNet的提出

残差网络原理

ResNet 网络模型

二. 代码复现

---

一. ResNet网络模型

ResNet的提出

        ResNet残差网络主要是通过残差块组成的，在提出残差网络之前，网络结构无法很深，在VGG中，卷积网络达到了19层，在GoogLeNet中，网络达到了22层。随着网络层数的增加，网络发生了退化（degradation）的现象：随着网络层数的增多，训练集loss逐渐下降，然后趋于饱和，当你再增加网络深度的话，训练集loss反而会增大。而引入残差块后，网络可以达到很深，网络的效果也随之变好

残差网络原理

        与普通网络的串行结构相比，残差单元增加了跳跃映射，将输入与输出直接进行相加，补充卷积过程中损失的特征信息，这点与U-net的跳跃连接结构有点类似，不过Res中的跳跃连接做的是Add操作，而U-net的跳跃连接做的是Concatenate操作，还是有本质的不同。

Fig1. 故此网络块的输出为:
因为相加必须保证与是同维度的，因此可以写成通式如下式，用于匹配维度。
有两种维度匹配的方式（A）用zero-padding增加维度 (B）用1x1卷积增加维度