卷积神经网络——ResNet

残差网络结构及理解

输入为 x ，需要拟合的结果(输出)为 H(x) 。
那么我们把输出差分为 x+y ，也就是 H(x)=x+y，再令 y=F(x) ,意思是 y 也是由 x 拟合而来，那么最后的输出就变为 H(x)=x+F(x)，x 本来就是输入，所以我们就只需要拟合 F(x) 就好了。

其实也很明显，通过求偏导我们就能看到：
$\frac{\partial X_L}{\partial X_{l}} = \frac{\partial X_l + F(X_l,W_l,b_l)}{\partial X_l} = 1 + \frac{\partial F(X_L,W_L,b_L)}{\partial X_L}$
这样就算深度很深，梯度也不会消失了。

举个例子：
输入 x = 2.9 , 经过拟合后的输出为 H(x)=3.0
那么残差就是 F(x)=H(X)-x=0.1
如果拟合的是恒等变换，即输入 x=2.5 ，输出还是 H(x)=2.5
那么残差就是 F(x)=H(X)-x=0.0
而如上图所示，假设 x 从 2.9 经过两层卷基层(conv)之后变为 3.1 ，
平原网络的变化率$\Delta=\frac{3.1-3.0}{3.0}=3.3\text{%}$
而残差模块的变化率为$\Delta=\frac{0.2-0.1}{0.1}=100\text{%}$

残差的引入去掉了主体部分，从而突出了微小的变化。

通过在输出个输入之间引入一个shortcut connection，而不是简单的堆叠网络，这样可以解决网络由于很深出现梯度消失的问题，从而可可以把网络做的很深。

另一种理解

残差网络单元其中可以分解成右图的形式，从图中可以看出，残差网络其实是由多种路径组合的一个网络，直白了说，残差网络其实是很多并行子网络的组合，整个残差网络其实相当于一个多人投票系统（Ensembling）。

关于bottleneck

论文中有两种residual block的设计，如下图所示：

在训练浅层网络的时候，我们选用前面这种，而如果网络较深(大于50层)时，会考虑使用后面这种(bottleneck)，这两个设计具有相似的时间复杂度。

同样举个例子：
对于ImageNet而言，进入到第一个residual block的input为 (56,56,64)
采用左侧的两个 $3\times3 \text{ conv}$的卷积层：
参数量为$(3\times3\times64)\times64+(3\times3\times64)\times64$
化简一下：$\text{params:}(18\times64)\times64=73728$
采用右侧的bottleneck：
参数量为 $(1\times1\times64)\times64+(3\times3\times64)\times64+(1\times1\times64)\times256+(1\times1\times64)\times256$
化简一下: $\text{params:}(18\times64)\times64=73728$

可以看到它们的参数量属于同一个量级，
但是这里bottleneck占用了整个network的「三层」，而原本只有「两层」，
所以这样就节省了大量的参数，
在大于50层的resnet中，他们使用了bottleneck这种形式。

层数较高时减少了3x3卷积个数，并用1x1卷积控制了3x3卷积的输入输出特征图数量，称这种结构为“瓶颈”(bottleneck)。

Identity mapping 改进

这便是这篇paper的改进，把原本的ReLU，放到Residual Unit的conv前面去，而不是放在addition之后。

可以看到，在上图作者对cifar10进行的多组实验中，使用full pre-activation这种Residul Unit效果最佳，个人认为这张表格还是挺重要的，我们简单分析一下！

(a)original：原始的结构
(b)BN after addition：这是在做相反的实验，本来我们的目的是把ReLU移到旁路上去，这里反而把BN拿出来，这进一步破坏了主路线上的恒等关系，阻碍了信号的传递，从结果也很容易看出，这种做法不ok
(c)ReLU before addition：将 f 变为恒等变换，最容易想到的方法就是将ReLU直接移动到BN后面，但这会出现一个问题，一个 \mathcal{F} (残差函数)的输出应该可以是 (-\infty,\infty) ,但是经过ReLU之后就会变为 (0,\infty) ,这种做法的结果，也比(a)要差。

直接提上来似乎不行，但是问题反过来想， 在addition之后做ReLU，不是相当于在下一次conv之前做ReLU吗？

(d)ReLU-only pre-activation：根据刚才的想法，我们把ReLU放到前面去，然而我们得到的结果和(a)差不多，原因是什么呢？因为这个ReLU层不与BN层连接使用，因此无法共享BN所带来的好处。
(e)full pre-activation：啊，那要不我们也把BN弄前面去，惊喜出现了，我们得到了相当可观的结果，是的，这便是我们最后要使用的Unit结构！！！