ResNet 学习笔记

最新推荐文章于 2025-03-31 16:21:59 发布
最新推荐文章于 2025-03-31 16:21:59 发布
阅读量5.1k 收藏 13
点赞数 3
分类专栏： 深度学习 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_35031375/article/details/81586616
版权
ResNet是为解决深度神经网络中梯度消失和退化问题提出的，通过残差函数f(x)=h(x)-x进行优化，使得网络能更易训练且性能提升。Residual Block是其实现关键，包含short connection，当网络最优时，Block表现为恒等映射。ResNet网络结构由多个Residual Block堆叠而成，适用于图像识别等任务。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

ResNet


出自论文Deep Residual Learning for Image Recognition


1.提出背景


1. 梯度爆炸/消失问题（这篇博客讲的很好）
2. 退化问题（随着网络深度增加，准确率达到饱和，然后迅速下降）
3. 为了使网络能够有更深的深度

2.什么是残差函数？


我们使用一般网络拟合的是h(x),使得输入x,h(x)能够得到正确的解来帮助我们预测分类
而在ResNet中引入了残差函数f(x)=h(x)-x（即目标值与输入值的偏差）,通过训练拟合f(x)，进而由f(x)+x得到h(x)

使用残差函数的好处有哪些呢？我的理解有以下几点（仅个人理解，如有错误请指出~）

  • 解决了退化问题同时很好的避免（或者只能说是减少？）了梯度爆炸/消失。ResNet的出发点并不是为了解决梯度爆炸/消失问题，达到这种效果纯粹是无意之举，关于原因的话，我阅读了大量的博客和解析，他们用公式的解释方法我并不是很理解。
  • 首先为什么解决了退化问题。当网络达到一定深度，若网络已经最优化，那
最低0.47元/天 解锁文章
ResNet学习笔记
hjhr2018的博客
07-23 866
设当前浅层网络的输出是x，学习目标是H(x)，则令新加入的层学习一个残差F(x) = H(x) - x，此时整个网络的输出就可以表示为F(x) + x，而网络的优化目标就 = F(x) = H(x) - x，即层学习输入与输出之间的差异。接下来的四个部分由3个，4个，6个和3个残差块组成，每个部分在结束时通过步幅为2的卷积减少特征图的大小。也就是说，有些特征可能会依赖于固定关系的隐含节点的共同作用，而通过Dropout的话，就有效地组织了某些特征在其他特征存在下才有效果的情况，增加了神经网络的鲁棒性。
ResNet
MCC
05-14 384
ResNet网络结构residual结构详细结构迁移学习代码model.pytrain.pypredict.py 网络结构 residual结构 详细结构 迁移学习 代码 model.py import torch.nn as nn import torch class BasicBlock(nn.Module): expansion = 1 def __init__(self, in_channel, out_channel, stride=1, downsample=
经典神经网络论文解读（五）—— ResNet（残差网络）
weixin_40375105的博客
03-26 1542
ResNet在《》论文中提出，是在CVPR 2016发表的一种影响深远的网络模型，何凯明团队提出来，在ImageNet的分类比赛上将网络深度直接提高到了152层，前一年夺冠的VGG只有19层。ImageNet的目标检测以碾压的优势成功夺得了当年识别和目标检测的冠军，COCO数据集的目标检测和图像分割比赛上同样碾压夺冠，可以说ResNet的出现对深度神经网络来说具有重大的历史意义。随着卷积神经网络的发展和普及，我们了解到增加神经网络的层数可以提高模型的训练精度和泛化能力。
学习笔记：ResNet（残差网络）详解
最新发布
qq_52635735的博客
03-31 779
那么，网络的精度会随着网络的层数增多而增多吗？下一层的信息是直接由上一层的信息加上一层的信息经过某些操作得到的，也就是说下一层看到的信息基本上看全了上一层所有看到的信息，即在残差结构当中它的信息的传递，信息的损失不是特别的严重。从信息论的角度讲，由于DPI（数据处理不等式）的存在，在前向传输的过程中，随着层数的加深，Feature Map包含的图像信息会逐层减少，而ResNet的直接映射的加入，保证了。从信息传递的方向来说，信息在每层传递的过程当中，它损失的太多了，所以信息传到后面就没办法继续训练了。
resnet学习
yh1226的博客
01-07 207
https://blog.youkuaiyun.com/mdjxy63/article/details/81021679 该博客使用的是keras实现
resNet神经网络的学习
m0_68638250的博客
11-15 1502
resNet的个人学习
深度学习：ResNet从理论到代码
Hanze的博客
12-25 1134
作者的思想是如果在一个浅层模型可以找到一个很好的结果，那么他的对应版本的深层网络也会很好，因为只需要在浅层网络后面加恒等映射就可以（就是浅层网络后面的层即使不干好事，但也不会变坏），可是优化器SGD很难做到恒等映射也就是不变的操作，于是就有了下面的ResNet。我们可以把残差结构看成一个集成网络，把它展开后，可以看成多个小的网络求和的结果，那么他的健壮性就很好，即使干掉其中一个，他也可以保持很好的效果。如上图所示，输入X，经过卷积层，ReLU激活得到F(X)，然后计算F(x)+x得到H(x)。
大模型ResNet学习笔记.md
08-21
对于初学者，可以从学习深度学习基础知识和PyTorch的使用方法入手，逐步深入理解ResNet的工作原理及其应用场景。同时，根据个人需求，可以进一步研究ResNet在图像分类和物体检测领域的实际应用案例和技术细节。
Resnet 学习笔记
weixin_44530058的博客
08-08 470
Resnet 学习笔记 1、引言 2015年，MSRA（微软亚洲研究院）何凯明团队的深度残差网络（Deep Residual Network）在Imagenet上取得冠军，可以说深度残差网络的提出是CNN图像史上的里程碑事件，Resnet的作者何凯明也因此获得了CVPR2016最佳论文奖。Resnet为什么这么强大，备受人们的青睐呢？因为它解决了深度CNN网络模型训练难的问题。我们知道2014年的VGG才19层，而15年的Resnet多达152层，这在网络深度上完全不是一个层次，我们可能会理所当然的认为Re
ResNet学习总结
奔跑的回锅肉の博客
07-17 586
前言 本篇博文记载了自己学习ResNet的过程。 提示：以下是本篇文章正文内容，下面案例可供参考 一、ResNet系列网络图 二、使用步骤 1.引入库 代码如下（示例）： import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns import warnings warnings.filterwarnings('ignore') import ssl ssl._create_.
resnet50模型学习笔记
03-12
### ResNet50模型学习笔记概述 ResNet50是一种深度残差网络，属于ResNet系列的一部分。该模型通过引入残差块解决了深层神经网络中的梯度消失和退化问题[^1]。 #### 模型架构特点 ResNet50采用了特殊的Bottleneck结构作为其基本构建单元，这种设计使得即使在网络非常深的情况下也能有效传播梯度并保持良好的性能表现[^2]。具体来说： - 输入图像尺寸通常设定为\(224 \times 224\)像素，并且具有三个颜色通道。 - 经过一系列卷积操作以及多个阶段的Bottleneck模块处理之后，最终特征图会被压缩到\((2048, 1, 1)\)的形式。 - 接下来是一个全连接层用于分类任务，它将上述高维向量映射至指定数量的目标类别上。 #### 关键技术组件 为了提高训练效率与准确性，ResNet50还集成了如下重要机制： - **Batch Normalization (BN)**：应用于每一层之前来标准化激活值分布，从而加快收敛速度并且有助于缓解内部协变量偏移现象[^5]。 - **跳跃连接（Skip Connections）**：允许信息绕过多层传递，在一定程度上克服了传统CNN难以优化极深层次的问题。 ```python import torch.nn as nn class Bottleneck(nn.Module): expansion = 4 def __init__(self, inplanes, planes, stride=1, downsample=None): super(Bottleneck, self).__init__() self.conv1 = nn.Conv2d(inplanes, planes, kernel_size=1, bias=False) self.bn1 = nn.BatchNorm2d(planes) self.conv2 = nn.Conv2d(planes, planes, kernel_size=3, stride=stride, padding=1, bias=False) self.bn2 = nn.BatchNorm2d(planes) self.conv3 = nn.Conv2d(planes, planes * self.expansion, kernel_size=1, bias=False) self.bn3 = nn.BatchNorm2d(planes * self.expansion) self.relu = nn.ReLU(inplace=True) self.downsample = downsample self.stride = stride def forward(self, x): residual = x out = self.conv1(x) out = self.bn1(out) out = self.relu(out) out = self.conv2(out) out = self.bn2(out) out = self.relu(out) out = self.conv3(out) out = self.bn3(out) if self.downsample is not None: residual = self.downsample(x) out += residual out = self.relu(out) return out ```
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值