Residual Networks 理解（一）

最新推荐文章于 2025-06-30 10:34:35 发布

原创

最新推荐文章于 2025-06-30 10:34:35 发布 · 1.1w 阅读

18 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #机器学习 #残差网络 #Resnet

本文深入探讨Residual Networks，通过《Residual Networks Behave Like Ensembles of Relatively Shallow Networks》论文，揭示残差网络如何通过多路径网络集合行为，解决深度学习中的梯度消失问题，并通过实验分析表明网络性能与浅层路径相关，而非所有层。残差网络的残差块结构、独立路径和 Ensemble 效应是其关键特点。

从开始接触机器学习以来，就一直想做一些读书/论文笔记，因为越来越认识到这一领域是一个复杂又庞大的系统，（尤其是在进入深度学习这一领域之后），破碎的知识点随着时间的推移在不断的遗忘，为了更加方便的搜索和管理知识点，还是决定在博客做一些记录。因为优快云申请需要手机号，昨天弄了一天还是没法绕过去手机验证，最后找人帮忙申请了一个，在这里表示感谢！

在优快云的第一篇博客就从残差网络（Residual Net-2016）写起, 之前的经典网络结构如果有时间会在后面慢慢进行更新。希望通过这样的方式能够和同领域人员有一定的交流，在平时看别人的博客过程中，确实发现这是一个非常好的交流的平台。
这篇博客主要讲《Residual Networks Bahave Like Ensemble of Relatively Shallow Networks》[http://papers.nips.cc/paper/6556-residual-networks-behave-like-ensembles-of-relatively-shallow-networks.pdf)）这篇论文，这篇论文对残差网络做了一个比较独到的分析，有助于加深对ResNet的理解和感悟. 这篇文章的第一作者是Andreas Veit,来自于Cornell University的一名博士生，他在ICCV,AAAI等机器学习顶会中都曾经发表过文章，这一篇文章可以认为是这名博士生的起家之作。文章被投在2016 NIPS上的，我认为NIPS是一个更加侧重学习理论的会议。

残差网络由何凯明博士在2016年CVPR的文章《Deep Residual Learning for Image Recognition》中首次提出，提出之后两年时间里引用量可以说是飞速增长，这一网络甚至被认为是当前性能最佳的网络结构，关于该网络具体提出和实现细节在后续的文章中再说明。残差网络主要存在三点与传统卷积网络不同的地方：