ResNet（Deep Residual Learning for Image Recognition）简单介绍（笔记）

最新推荐文章于 2025-04-03 23:33:09 发布
原创 最新推荐文章于 2025-04-03 23:33:09 发布 · 359 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#计算机视觉

本文详细介绍微软ResNet在2015年的突破，包括超深网络结构、residual模块和BatchNormalization的应用，以及其在ImageNet竞赛中的卓越表现。深入探讨了ResNet50的结构和BN的作用，适合理解深度学习中的关键组件。

ResNet在2015年由微软实验室提出，斩获当年ImageNet竞赛中分类任务第一名，目标检测第一名。获得COCO数据集中目标检测第一名，图像分割第一名。
网络中的亮点：
1、超深的网络结构(突破1000层)
2、提出residual模块
3、使用Batch Normalization加速训练(丢弃dropout)
残差结构如下：

 若同样，输入为256维的特征向量，右边的结构的参数比左边少。

不同层数的网络表格：

左边主分支与shortcut的输出特征矩阵shape是必须相同的，可以直接相加。右边，对于虚线处，需要reshape到统一大小。下面给出详细的ResNet50结构。

 Batch Normalization

Batch Normalization的目的是使我们的一批( Batch)feature map满足均值为0，方差为1的分布规律。附上一个链接，解释得非常非常非常详细Batch Normalization。视评讲解链接如下

良心up大佬讲解，20分钟处开始

PyTorch笔记 - ResNet: Deep Residual Learning for Image Recognition
AGI
12-16 673
VGG19 -> ResNet50，VGG19，图像尺寸下采样，通道放大，最后使用Pooling，再进行分类。stem层是7x7的卷积，CBR(conv + BN + relu)，每两层做一次Residual，操作是一致的，不改变图像尺寸和通道数。每个layer：第1组卷积(Conv+BN)，都需要1x1卷积的downsample变换层，提升通道数量，其他组不需要。：循环stage，再训练block，第1个block的stride下采样，其余不变。stride是用于下采样，stride=2，即下采样2倍。
《Deep Residual Learning for Image Recognition》学习笔记
weixin_44070509的博客
07-17 772
本文简要记录一下自己阅读论文《Deep Residual Learning for Image Recognition》时所做的个人笔记。 摘要 通常情况下，神经网络的深度越深，越难以训练，本文提出了一种残差神经网络来解决这个问题，它的优化更简单，并且可以在深层的神经网络中也相应获得更高的准确度。这种深度残差神经网络在ImageNet等数据集的测试效果均为第一名。 1、介绍 研究结果表明，神经网络模型的深度对训练任务起着至关重要的作用，但是当模型深度太大时，会存在梯度消失/梯度爆炸的问题，尽管normali
ResNet(论文阅读)：Deep Residual learning for Image Recognition
m0_54248968的博客
07-13 2184
深层神经网络往往更难训练，我们提出了一种残差学习框架，使得网络深度可以大幅度增加，同时降低了训练难度。我们明确地将每一层改造成相对于输入进行学习的残差函数，而不是学习无参考函数。大量的实证证据表明，这种残差网络更容易优化，并且可以通过显著增加网络深度来提高准确率。我们在ImageNet数据集上评估了最大深度达到152层的残差网络——比VGG网络深8倍，但复杂度更低。这些残差网络的集成在ImageNet测试集上的错误率为3.57%。此外，我们还对CIFAR-10数据集的100层和1000层进行了分析。
ResNet——Deep Residual Learning for Image Recognition
seniusen的博客
04-22 746
1. 摘要 更深的神经网络通常更难训练，作者提出了一个残差学习的框架，使得比过去深许多的的网络训连起来也很容易。 在 ImageNet 数据集上，作者设计的网络达到了 152 层，是 VGG-19 的 8 倍，但却有着更低的复杂性。通过集成学习模型最终取得了 3.57% 的错误率，获得了 ILSVRC 2015 比赛的第一名。 表示的深度对于许多视觉识别任务而言至关重要，仅仅由于特别深的...
Deep Residual Learning for Image Recognition （ResNet）论文详细解读
码农研究僧的博客
10-25 2349
更深的神经网络更加难以训练，残差网络主要用来减轻训练的网络，这些网络比之前使用的网络都要深得多在ImageNet的的数据集中网络层数达到了152层，前一年夺冠的VGG只有19层。在COCO物体检测数据集上获得了28%的相对改进在以往的知识中，深度学习层数越深，提取的特征越多。如下图所示，并非网络层数越多越好。引起这部分的原因，这种现象主要是退化：随着网络层数的加深，准确性会达到饱和，梯度传播过程中会逐渐消失，导致无法对前面的网络层权重进行调整，训练误差加大，结果也随之变差。
ResNet模型——Deep Residual Learning for Image Recognition
weixin_44853840的博客
05-17 455
目录motivationsolutionArchitecturesSummary motivation 通过总结前人的经验，我们常会得出这样的结论：通过堆叠神经网络层数（增加深度）可以非常有效地增强表征，提升特征学习效果。 但是此时有几个问题需要考虑： 学习更好的网络是否像堆叠更多层一样容易？梯度消失/爆炸问题从一开始就阻碍了收敛。然而，这个问题在很大程度上已经通过归一化初始化和中间归一化层来解决，这使得具有数十层的网络能够开始收敛通过具有反向传播的随机梯度下降法。 更深层的网络收敛是收敛了，却出现了效果
CNN学习4——ResNet Deep residual learning for image recognition
Sousky的博客
04-15 517
文章翻译可以参考：https://blog.youkuaiyun.com/wspba/article/details/57074389 ResNet理解汇总： 1、http://lanbing510.info/2017/08/21/ResNet-Keras.html 2、https://cloud.tencent.com/developer/article/1148375 plain n...
论文复现笔记（三）：Deep Residual Learning for Image Recognition
最新发布
Cu_04的博客
04-03 2440
📌📄 论文标题：📚 发表期刊/会议：CVPR, 2016✍ 作者：Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun🔗。
精选资源
Deep Residual Learning for Image Recognition原版及翻译及笔记
05-30
Deep Residual Learning for Image Recognition原版及翻译及笔记， 博客参考：https://blog.youkuaiyun.com/m0_46384757/article/details/125054695 resnet代码参考：...
实战：利用Pytorch复现Deep Residual Learning for Image Recognition中的 Resnet34
m0_52186223的博客
01-22 2892
在学习了resnet的论文之后，为了便于理解，变想要复现文论中34层的resnet模型。
(5) [CVPR15] Deep residual learning for image recognition
gdtop的个人笔记
02-24 6737
计划完成深度学习入门的126篇论文第五篇，来自MSRA的何凯明在ILSVRC15比赛上取得冠军后的论文，也是大名鼎鼎的RestNet，发表在CVPR15并当选Best paper。 摘要Abstract        我们提出了一个residual learning framework来简化网络的训练，这些网络比以前使用的要深得多。我们显式地将层重新表示为根据层输入学习residual fun...
ResNet《Deep Residual Learning for Image Recognition》
985小菜鸡
03-21 1805
残差连接最核心的地方是就是说 resnet 是结合了和是那些跳过一个或多个层的连接。在本文中，只是执行，其输出被添加到堆叠层的输出中。连接既不增加额外的参数，也不增加计算复杂度。整个网络仍然可以通过反向传播的SGD进行端到端训练。下面这个残差块中，旁边的分支首先是一个，而在这个之上，执行了将输入恒等映射到输出端，并与进行相加。
ResNet--Deep Residual Learning for Image Recognition
yzf0011的专栏
11-03 432
Key question Vanishing/exploding gradients hamper convergence from the beginning, as the network becomes more deeper. with the network depth increasing, accuracy gets saturated (which might be unsurpri
resnet：Deep Residual Learning for Image Recognition
zhangjf26的博客
05-03 274
这几天重新看了一遍resnet，有些不同的理解，写下来纪念一下。这个网络的提出本质上还是要解决层次比较深的时候无法训练的问题。这种借鉴了Highway Network思想的网络相当于旁边专门开个通道使得输入可以直达输出，而优化的目标由原来的拟合输出H(x)变成输出和输入的差H(x)-x，其中H(X)是某一层原始的的期望映射输出，x是输入。Highway Network的定义：允许保留一定比例的原始...
【ResNet】Deep Residual Learning for Image Recognition
Ziy的博客
09-26 1845
残差学习开山之作--ResNet
【论文阅读】Deep Residual Learning for Image Recognition
m0_72658762的博客
02-14 819
更深的神经网络更难训练。我们提出了一个残差学习框架，以缓解训练比以前使用的网络深度更深的网络的难度。我们明确地将层重新表述为参照层输入学习残差函数，而不是学习无参考的函数。我们提供了全面的实证证据，表明这些残差网络更容易优化，并且可以从显著增加的深度中获得精度。在ImageNet数据集上，我们评估了深度高达152层的残差网络，比VGG网络[41]深8倍，但仍然具有较低的复杂度。这些残差网络的集成在ImageNet测试集上实现了3.57%的错误率。这一结果在ILSVRC 2015分类任务中获得了第一名。
ResNet：Deep Residual Learning for Image Recognition
just
02-27 784
更深层的神经网络更难训练；本文提出一个残差学习框架来简化网络的训练，提出的网络要比以往的网络架构更深；本文明确的对学习的架构进行了重构，之前的网络学习出/拟合出一个分布，现在的网络用来拟合相对于上一层的残差(residual)；本文进行了全面的实验证明这些残差网络的性能更好，并且可以显著的从网络深度中获得精度的收益；提出ResNet-152——比VGG深8倍，但是模型复杂度比VGG低；深度网络以端到端的多层方式自然地集成了低层/中层/高层特征和分类器，网络越深，提取到的特征就越丰富；
Deep Residual Learning For Image Recognition
u013087645的专栏
09-22 1147
论文地址：  resnet 论文原文地址 文献翻译地址：https://blog.youkuaiyun.com/Quincuntial/article/details/77263562?locationNum=6 网络深度为何重要？ 因为CNN能够提取low/mid/high-level的特征，网络的层数越多，意味着能够提取到不同level的特征越丰富。 并且，越深的网络提取的特征越抽象，越具有语义信息...
Deep Residual Learning for Image Recognition
风信子的博客
08-14 585
Deep Residual Learning for Image Recognition Kaiming He Xiangyu Zhang Shaoqing Ren Jian Sun 基于深度残差学习的图像识别 Kaiming He Xiangyu Zhang Shaoqing Ren Jian Sun Abstract Deeper neural networks are more difficult to train. We present a residual learning framewor
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值