Deep Residual Learning for Image Recognition_凯明人工智能-优快云博客

本文解析了凯明大神的《DeepResidualLearningforImageRecognition》一文，介绍了残差网络的基本思想及其如何解决深层网络训练中遇到的问题，并探讨了其在深度学习领域的重大贡献。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

凯明大神的文章《Deep Residual Learning for Image Recognition》被评为2016最佳作文，其影响力在深度学习领域非常大。这两天拜读了一下这篇神文，写下一些感想。

首先先来感受一下大神秒天秒地的气势

Our ensemble has 3.57% top-5 error on the ImageNet test set, and won the 1st place in the ILSVRC2015 classification competition. The extremely deep representations also have excellent generalization performance on other recognition tasks, and lead us to further win the 1st places on: ImageNet detection, ImageNet localization,COCO detection, and COCO segmentation in ILSVRC &COCO 2015 competitions.

我只能跪着把文章看完了。文章的思想很简单，就是引入了一个残差块作为构建网络的基础。下面我们坐下来慢慢谈。

之前很多研究都已经证明，深层网络的性能要优于浅层网络。但是由于梯度消失与梯度震荡的问题，深层的网络往往在开始的时候就无法收敛，尽管近年来出现的一些normalized trick缓解了这一问题，但这仍然无法从根本上得到解决。另外，凯明大神通过实验发现，就算深层的网络能够得到收敛，但是随着其深度的增加，其accuracy却在减小。如下图（图来自原文）。

很可惜，导致这一现象的原因并不是过拟合，似乎增加网络的层数就必然会带来更高的training error。这一现象说明不是所有的网络都能容易的达到最优化。让我们考虑这样一种情况：在一个浅层网络后面加上一些更加深的网络层，这些新加的网络层为identity mapping(单位映射，或者叫做恒等映射），那么增加网络的层数将不会对training error有任何的影响，因为这些新加的网络只是对浅层网络的复制而已。实验告诉我们，这样的做法没有任何意义，这样的网络并不会比浅层网络得到更好的结果（废话，直接复制过来的东西跟不做有什么区别）。那如果我们不做单纯的复制，而是做一个近似的拟合呢？基于此，凯明大神提出了残差网络。

我们知道，对于一个复杂函数，我们可以使用多个非线性函数来近似拟合它。那么我们令H(x)为待拟合的浅层网络，该网络就可以看成是一个复杂函数。F(x)为该网络的残差，即F(x)=H(x)-x。则H(x)=F(x)+x。这是一个很牛逼的推导，虽然可能你并不觉得。我们来看，通常情况下，我们拟合H(x)是通过一层卷积接上一层卷积来实现的，这可以看作是多个非线性函数的叠加，就像下图右边那样。上面已经说过，这样的方式虽然有效，但是在网络比较深的时候accuracy在减小。那么凯明大神换了一种方式，即使用残差的方式来拟合H(x)，如下图左边那样。大体上还是一层一层的卷积叠加，但是在卷积的最后加上一个identity mapping，形成一个block的形式。以这样的一个block近似拟合一个浅层的H(x)，那么当多个block叠加使得网络的深度增加时，能达到比较好的performance。