Residual Networks <2015 ICCV, ImageNet 图像分类Top1>

最新推荐文章于 2025-06-30 10:34:35 发布

Rachel-Zhang

最新推荐文章于 2025-06-30 10:34:35 发布

阅读量2.6w

点赞数 13

CC 4.0 BY-SA版权

分类专栏： Data Mining Machine Learning Computer Vision 文章标签： ImageNet 图像分类 Residual

本文链接：https://blog.youkuaiyun.com/abcjennifer/article/details/50514124

本文详细介绍了Residual Networks在2015年ImageNet分类任务中的突破，揭示了深度神经网络并非越深越好，提出了为解决退化问题的Shortcut Connections和Residual Learning思想。通过实验表明，Residual Networks在保持复杂度不变的情况下，能够有效提高网络性能，尤其是在34层网络结构中，相比于没有residual function的网络，错误率显著降低。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文介绍一下2015 ImageNet中分类任务的冠军——MSRA何凯明团队的Residual Networks。实际上，MSRA是今年Imagenet的大赢家，不单在分类任务，MSRA还用residual networks赢了 ImageNet的detection, localization, 以及COCO数据集上的detection和segmentation, 那本文就简单分析下Residual Networks。

目录
————————————
1. Motivation
2. 网络结构
3. 实验结果
4. 重要reference

1. Motivation

作者首先抛出了这个问题，深度神经网络是不是越深越好。
照我们一般的经验，只要网络不训飞（也就是最早在LSTM中提出的vanishing/exploding problem），而且不过拟合，那应该是越深越好。

但是有这么个情况，网络加深了， accuracy却下降了，称这种情况为degradation。如下图所示(详见[1])：

Cifar-10 上的training/testing error. 网络从20层加到56层，error却上升了。

按理说我们有一个shallow net，在不过拟合的情况下再往深加几层怎么说也不会比shallow的结果差，所以degradation说明不是所有网络都那么容易优化，这篇文章的motivation就是通过“deep residual network“解决degradation问题。

2. 网络结构

Shortcut Connections

其实本文想法和Highway networks（Jurgen Schmidhuber的文章）非常相似，就连要解决的问题（degradation）都一样。Highway networks一文借用LSTM中gate的概念，除了正常的非线性映射H（x, Wh）外，还设置了一条从x直接到y的通路，以T(x, Wt)作为gate来把握两者之间的权重，如下公式所示：