第四章 ResNet_第四篇 resnet-优快云博客

对于某个网络模块，假设其相当于函数F(x)。如果期望的潜在映射为H(x)，与其让F(x)直接学习潜在的映射，不如去学习残差F(x):=H(x)−x。这样原本的前向路径上就变成了F(x)+x，用F(x)+x来拟合H(x)。作者认为这样可能更易于优化，因为相比于让F(x)学习成恒等映射，让F(x)学习成0要更加容易——后者通过L2正则就可以轻松实现。这样，对于冗余的block，只需F(x)→0就可以得到恒等映射，性能不减。

ResNet中的残差模块有两种结构，左边的叫Basic block，右边的叫Bottleneck block。Bottleneck block先通过1x1的卷积降通道数，然后再进行3x3的卷进，最后通过1x1的卷积恢复通道数。Bottleneck block主要用在大一些的网络中，实现计算量的压缩。

三、ResNet的结构

ResNet包含5级。第1级仅包含卷积核为7*7的conv、bn和relu。第2级包含一个stride为2 的3*3maxpool以及若干残差模块。第3-5级仅包含残差模块。5级之后为一个average pool加一个全连接层。

第2-5级，每级输出尺寸减半同时通道倍增。

整个网络的输入通道数为3，1-5级的通道数分别为：64、64、128、256、512。也就是说2-5级的Basic block或Bottleneck block第1个卷积的输出分别为：64、128、256、512。那么2-5级的Bottleneck block的输出通道数分别为：64*4、128*4、256*4、512*4。

第2级的尺寸减半通过max pool实现，第2-5级的尺寸减半通过stride为2 的3*3卷积实现。

1. 每级内部的残差模块

残差模块的输入和输出的尺寸和通道数相同。

对于Basic block：在主线上，每一层卷积的卷积核大小为3*3，padding为1，stride为1，不使用空洞卷积，卷积前后通道数不变。支线为恒等映射。

对于Bottleneck block：在主线上，第一层卷积的卷积核大小为1*1，padding为0，stride为1，卷积后通道数由“当前级通道数*4”变为“当前级通道数”；第二层卷积的卷积核大小为3*3，padding为1，stride为1，不使用空洞卷积，卷积前后通道数不变；第三层卷积的卷积核大小为1*1，padding为0，stride为1，卷积后通道数由“当前级通道数”变为“当前级通道数*4”。支线为恒等映射。

第2级的尺寸减半通过max pool实现，第1级和第2级的通道数都为4，所以第2级的残差块均为内部残差模块。

2. 两级之间的残差模块

3-5级，每经过一级，特征图尺寸减半，通道数倍增。这是通过每一级的第一个残差块实现的，每级第一个残差块的结构和其他残差块结构不同，对应虚线shortcut。

对于Basic block：在主线上，每一层卷积的卷积核大小为3*3，padding为1，stride为2，不使用空洞卷积，卷积之后通道数增加为“当前级通道数”，特征图尺寸减半；第二层卷积的卷积核大小为3*3，padding为1，stride为1，不使用空洞卷积，卷积前后通道数不变。支线为一个1*1卷积，卷积后通道数变为“当前级通道数”。

对于Bottleneck block：在主线上，第一层卷积的卷积核大小为1*1，padding为0，stride为1，卷积后通道数由输入通道数变为“当前级通道数”；第二层卷积的卷积核大小为3*3，padding为1，stride为2，不使用空洞卷积，卷积前后通道数不变，特征图尺寸减半；第三层卷积的卷积核大小为1*1，padding为0，stride为1，卷积后通道数由“当前级通道数”变为“当前级通道数*4”。支线为一个1*1卷积，卷积后通道数变为“当前级通道数*4”。