关于Resnet残差网络的理解

随着卷积神经网络的发展和普及，网络深度和架构研究早已经成为人们常见的问题，所以，现在卷积神经网络的趋势发展趋势就是：足够深、足够广。足够深就是网络层数足够深，足够广就意味着不能从传统尺度来解决问题，而应该是多尺度，也就是multi-scale。
但是随着网络的深入，一些经典的问题也就随之出现，例如梯度弥散和梯度爆炸。这两种问题都是由于神经网络的特殊结构和特殊求参数方法造成的，也就是链式求导的间接产物。

梯度弥散：当使用反向传播方法计算导数的时候，随着网络的深度的增加，反向传播的梯度（从输出层到网络的最初几层）的幅度值会急剧地减小。结果就造成了整体的损失函数相对于最初几层的权重的导数非常小。这样，当使用梯度下降法的时候，最初几层的权重变化非常缓慢，以至于它们不能够从样本中进行有效的学习。这种问题通常被称为“梯度的弥散”。
梯度爆炸：差梯度在网络训练时被用来得到网络参数更新的方向和幅度，进而在正确的方向上以合适的幅度更新网络参数。在深层网络或递归神经网络中，误差梯度在更新中累积得到一个非常大的梯度，这样的梯度会大幅度更新网络参数，进而导致网络不稳定。在极端情况下，权重的值变得特别大，以至于结果会溢出（NaN值，无穷与非数值）。当梯度爆炸发生时，网络层之间反复乘以大于1.0的梯度值使得梯度值成倍增长。

这两个不良影响也常常困扰着卷积神经网络的设计者和使用者，也成为人们不得不思考的问题。但是所幸的是，一些网络的出现很好的解决了这些问题。最近学习的Resnet就有效的解决了这个问题。
Resnet在2015年提出之后，立马获得了当年的Image图像比赛第一名，并且准确率奇高。

最初Resnet的提出目的并不是为了解决梯度弥散，有效的消除梯度弥散可以说是无心之举。在当前的背景下，卷积神经网络提出之后，深度成为人们要追求的目标。但是随着层数增加，就出现了学习退化的问题。