Deep Residual Learning for Image Recognition(ResNet)残差网络解读

最新推荐文章于 2025-11-26 00:00:00 发布
原创 最新推荐文章于 2025-11-26 00:00:00 发布 · 3.7k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#deep learning #ResNet

ResNet是2015年提出的深度残差学习框架，解决了深层网络训练的难题，避免了准确率随网络深度增加而下降的问题。通过计算层间残差并加回输入，ResNet能有效训练超过100层的网络，同时保持或提高性能。在ImageNet等任务上表现出色，荣获多个比赛冠军。

Kaiming 的ResNet在2015年横扫各大视觉主流比赛榜单，对工业界和学术界都产生了巨大而深远的影响，论文拿下了CVPR2016的best paper award。首先来看看ResNet的威力：


不仅拿了第一，还超过第二一大截。我们就来看看ResNet的神奇之处。


Is learning better networks as easy as stacking more layers

近些年来，有句口号叫“We need go deeper”，所以问题来了，“Is learning better networks as easy as stacking more layers?” ，当然不是，就单纯的go deeper并没有用，因为更深的网络意味着更多的参数，更大的计算量，需要更多的计算资源，还需要防止过拟合的风险，网络越深，越难训练。除此之外，有研究发现，随着网络深度的增加，准确率会趋于饱和，并且快快速下降，可能很多人会以为这是onverfitting，模型太复杂了，但是出人意料的是并不是这样，因为加深某些模型反而会增加训练误差！如图是一个典型的例子：


最低0.47元/天 解锁文章
ResNet(论文阅读)：Deep Residual learning for Image Recognition
m0_54248968的博客
07-13 2246
深层神经网络往往更难训练，我们提出了一种残差学习框架，使得网络深度可以大幅度增加，同时降低了训练难度。我们明确地将每一层改造成相对于输入进行学习的残差函数，而不是学习无参考函数。大量的实证证据表明，这种残差网络更容易优化，并且可以通过显著增加网络深度来提高准确率。我们在ImageNet数据集上评估了最大深度达到152层的残差网络——比VGG网络深8倍，但复杂度更低。这些残差网络的集成在ImageNet测试集上的错误率为3.57%。此外，我们还对CIFAR-10数据集的100层和1000层进行了分析。
【论文精读】Resnet残差网络（Deep Residual Learning for Image Recognition）
a2333333_的博客
09-27 3108
原文提出了残差网络，本文对论文进行了精度，解析
Deep Residual Learning for Image Recognition.pdf
04-15
深度较之宽度对神经网络具有更重要的意义，能一定程度模拟人脑，但是随着深度的加深，会出现梯度消失问题，阻碍了模型的收敛。Deep Residual Learning for Image Recognition一文给出了一种避免梯度消失的网络模型-深度残差网络，对深度学习的发展至关重要。
AI论文整理：ResNet - Deep Residual Learning for Image Recognition
极客BIM工作室
11-26 703
Kaiming He等人在《Deep Residual Learning for Image Recognition》中提出深度残差学习框架，核心是解决深度神经网络训练中的退化问题（深度增加导致训练误差上升，且非过拟合引起）；该框架将层重构为学习“相对于输入的残差函数”（而非无参考原始映射），通过shortcut连接（身份映射或线性投影，不增加额外参数/计算量）实现F(x)+x的映射形式（F(x)为残差），使极深网络更易优化；实验显示，该框架在ImageNet数据集。
Deep Residual Learning for Image Recognition
11-20
Deep Residual Learning for Image Recognition
【论文阅读】Deep Residual Learning
NeverFadeAway的博客
04-24 973
1.研究背景 在深度学习中，随着网络层数的增加，模型一般会出现过拟合、梯度消失或爆炸的问题，分别可以通过正则化、Batch Normalization来解决。那么，是否只要不断地增加网络的层数，就能获得更好的结果呢？实验数据表明网络会出现退化(degradation)的现象：随着网络层数的增加，训练集loss逐渐下降并趋于饱和，当网络层数继续增加时，训练集loss反而会增大。这时，浅层网络反...
《Deep Residual Learning for Image Recognition》论文翻译精读
Daybreak's blog
09-07 1034
更深层次的神经网络更难训练。我们提出了一个残差学习框架，以简化对网络的训练，这些网络比以前使用的网络要深入得多。我们明确地将层重新表述为参考层输入的学习残差函数，而不是学习未引用函数。我们提供了全面的经验证据，表明这些残差网络更容易优化，并且可以从显著增加的深度中获得准确性。在ImageNet数据集上，我们评估了深度高达152层的残差网络——比VGG网络深8倍[40]，但仍然具有较低的复杂性。这些残差网络的集合在ImageNet测试集上实现了3.57%的误差。
ResNet——Deep Residual Learning for Image Recognition(论文阅读)
Xiao_Ya__的博客
06-14 1797
ResNet——Deep Residual Learning for Image Recognition(论文阅读)
ResNet《Deep Residual Learning for Image Recognition》
985小菜鸡
03-21 1850
残差连接最核心的地方是就是说 resnet 是结合了和是那些跳过一个或多个层的连接。在本文中，只是执行，其输出被添加到堆叠层的输出中。连接既不增加额外的参数，也不增加计算复杂度。整个网络仍然可以通过反向传播的SGD进行端到端训练。下面这个残差块中，旁边的分支首先是一个，而在这个之上，执行了将输入恒等映射到输出端，并与进行相加。
【机器学习】【Deep Residual Learning】
mystery_guest的博客
08-29 515
本文转自：http://jermmy.xyz/2017/09/25/2017-9-25-paper-notes-deep-residual-learning/，觉得作者写的很好，也注意到是作者自己开发的一个总结学习的一个web系统，怕作者关服务器后，想看再也看不到了的情况= = 所以厚着脸贴了过来。若有冒犯，立刻删除。 Deep Residual Learning 深度神经网络在训练过程中容易...
Deep Residual Learning for Image Recognition 笔记
热门推荐
u014114990的专栏
01-12 2万+
今天跑了把googlenet1应用到自己的分类任务中，识别率有大约有0.8%的提高。 还是看来大网络还是有用的， 只要你能很好的解决随着网络层数增多，容易引起过梯度消失或爆炸等问题。 https://github.com/ShaoqingRen/faster_rcnn/issues/47  这里有关于这个网络实现的讨论 https://github.com/beijbom/beij
论文笔记：Deep Residual Learning
05-25 420
转处：https://www.cnblogs.com/jermmyhsu/p/8228007.html之前提到，深度神经网络在训练中容易遇到梯度消失/爆炸的问题，这个问题产生的根源详见之前的读书笔记。在 Batch Normalization 中，我们将输入数据由激活函数的收敛区调整到梯度较大的区域，在一定程度上缓解了这种问题。不过，当网络的层数急剧增加时，BP 算法中导数的累乘效应还是很容易让梯...
【ResNet】Deep Residual Learning for Image Recognition
Ziy的博客
09-26 1864
残差学习开山之作--ResNet
Residual Learning
chenhuahui1993的博客
08-07 3710
本文参考的论文 Deep Residual Learning for Image Recognition Identity Mappings in Deep Residual Networks Inception-v4， Inception-ResNet and the Impact of Residual Connections on Learning Wide Residual Netw
Deep Residual Learning for Image Recognition笔记
hjl240的专栏
07-07 2481
ResNet网络，本文获得2016 CVPR best paper     本篇文章解决了深度神经网络中产生的退化问题（degradation problem）。什么是退化问题呢？如下图：           上图显示，网络随着深度的增加（从20层增加到56层），训练误差和测试误差非但没有降低，反而变大了。然而这种问题的出现并不是因为过拟合（overfitting
论文：Deep Residual Learning for Image Recognition
xxiaozr的博客
05-25 1686
Abstract:更深层的网络训练十分困难，我们提出了残差网络来实现深层网络。我们重新定制了层间的学习是参考 layer input 的残差函数，而不是一个没有参考的函数。Introduction:是否学习更好的网络就是简单的堆积更多的层？一个障碍便是梯度消失或者爆炸，从训练的一开始便会损害收敛，虽然这个问题可以被 normalization initialization 和 intermedia...
Deep Residual Learning for Image Recognition浅读与实现
最新发布
12-07
《Deep Residual Learning for Image Recognition》由何恺明、张祥雨、任少卿、孙剑所著，是2016年CVPR最佳论文。该论文提出的ResNet（深度残差网络）通过残差模块解决深层网络的退化问题，大大提升了神经网络深度，使各类计算机视觉任务能从深度模型提取出的特征中获益。ResNet还获得了2015年ImageNet图像分类、定位、目标检测竞赛冠军，MS COCO目标检测、图像分割冠军，并在ImageNet图像分类性能上超过人类水平[^1]。 残差学习框架是ResNet的核心思想，它能有效缓解深度网络的退化问题，使得网络层数可以进一步增加，而不会导致梯度消失或模型性能下降[^2]。与早期训练多层感知机添加线性层、部分中间层连接辅助分类器解决梯度消失和爆炸问题不同，也和“highway networks”使用含参数的shortcut搭配门函数不同，ResNet的残差连接不含参数，且identity shortcut并非封闭，所有信息可直接传入以学习额外的残差函数，同时随着网络深度增加精确度也会增加[^4]。 在ImageNet上的实现遵循了AlexNet和VGGNet中的一些操作。图像的短边会随机resize到[256,480]的范围（长边等比例缩放），接着从resize后的图像或其水平翻转图像中随机裁剪出224×224大小的图像，并将每个像素减去该坐标上所有像素值的平均。每次卷积之后、激活函数之前应用BN。按照特定论文初始化权重，plain和residual网络的训练都是train from scratch。使用MBGD，mini - batch size为256，初始学习率设为0.1，当loss不再明显下降时，学习率除以10。模型共训练60×10⁴次迭代，weight decay设为0.0001，momentum参数设为0.9，且不使用dropout[^3]。 以下是一个简单的使用PyTorch实现ResNet残差块的代码示例： ```python import torch import torch.nn as nn class BasicBlock(nn.Module): expansion = 1 def __init__(self, in_channels, out_channels, stride=1): super(BasicBlock, self).__init__() self.conv1 = nn.Conv2d(in_channels, out_channels, kernel_size=3, stride=stride, padding=1, bias=False) self.bn1 = nn.BatchNorm2d(out_channels) self.relu = nn.ReLU(inplace=True) self.conv2 = nn.Conv2d(out_channels, out_channels, kernel_size=3, stride=1, padding=1, bias=False) self.bn2 = nn.BatchNorm2d(out_channels) self.shortcut = nn.Sequential() if stride != 1 or in_channels != self.expansion * out_channels: self.shortcut = nn.Sequential( nn.Conv2d(in_channels, self.expansion * out_channels, kernel_size=1, stride=stride, bias=False), nn.BatchNorm2d(self.expansion * out_channels) ) def forward(self, x): out = self.relu(self.bn1(self.conv1(x))) out = self.bn2(self.conv2(out)) out += self.shortcut(x) out = self.relu(out) return out ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值