深度残差网络（Deep Residual Network ）

    

    深度残差网络自从2015年提出以来，在众多比赛中表现优越，且最终获得CVPR 2016年Best Paper Award。大家想必也已经耳熟能详。在这里，只是再简要说说深度残差网络是怎样的网络，关于为什么她表现如此优秀？如论文中描述，深度残差网络的缘起在于一个“反常”的现象。在训练深度神经网络的时候，训练误差和测试误差都随着网络深度的增加而增加。文中称之为Degradation问题。

    深度卷积神经网络在图像分类方面，引发了一系列突破。通过改变叠层的数量（深度），深度网络自然整合低/中/高水平的功能，终端到终端多层方式的分层器，和特征的“水平”都变得更加丰富。最近的证据表明网络深度是至关重要的，在挑战性的ImageNet数据集中领先结果的团队，都利用了“很深”模型，该深度为十六至三十。而且很多特殊的视觉识别任务也从深度模型中大大受益。

受到深度意义的驱使，出现了一个问题：学习更好的网络是否和叠加层数一样简单？解决该问题的一大障碍是臭名昭著的梯度爆发与消失问题，它从一开始就阻碍了收敛。然而，这个问题很大程度上被归一的初始化和中心归一层解决了，它确保几十层的网络开始用反向传播收敛随机梯度下降（SGD）。

当更深的网络能够开始融合时，暴露出了降级问题：随着网络深度的增加，精准度开始饱和（这并不令人吃惊）然后迅速下降。预料之外的是，在[11,42]中报道并且经过我们实验彻底验，证精准度的下降并不是由过度拟合造成的，而且在相配的深度模式中增加更多的层数，会造成更高的训练误差。图1展示了一个经典的实例。

初始化：
我们设深度网络中某隐含层为H（x）-x→F（x），如果可以假设多个非线性层组合可以近似于一个复杂函数，那么也同样可以假设隐含层的残差近似于某个复杂函数[6]。即那么我们可以将隐含层表示为H（x）=F（x）+ x。

这样一来，我们就可以得到一种全新的残差结构单元，如图3所示。可以看到，残差单元的输出由多个卷积层级联的输出和输入元素间相加(保证卷积层输出和输入元素维度相同)，再经过ReLU激活后得到。将这种结构级联起来，就得到了残差网络。典型网络结构表1所示。