BP、梯度消失/爆炸与ResNet

最新推荐文章于 2025-10-14 15:06:53 发布
原创 最新推荐文章于 2025-10-14 15:06:53 发布 · 2.4k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#DL

深度学习最底层的理论，竟有些生疏了。

反向传播算法

首先是bp反向传播，其核心idea就是，从后向前，一层层的梯度传递。
高数中求偏导的时候就有个链式法则，对所有路径的偏导乘积求和，就是该参数的偏导
在这里插入图片描述
bp算法就是通过自后向前的偏导计算，避免了重复的计算。每一个节点的偏导值，都可以在前一级的偏导计算中用到

下面举个简单反向传播的直链例子：
在这里插入图片描述
ω \omega ω、 b b b是参数， h h h是隐含层神经元激活后的值， f f f是激活函数。
g i g_i gi​我把它叫做梯度参数，每次更新和缓存的也是这个。
且很容易推得 g i = g i + 1 ⋅ ω i + 1 ⋅ f ′ ( ω i h i + b i ) g_i=g_{i+1}\cdot\omega_{i+1}\cdot f^\prime(\omega_ih_i+b_i) gi​=gi+1​

最低0.47元/天 解锁文章
残差网络（ResNet）解决梯度消失问题
KaikebaAI的博客
11-18 4974
一、 引言 ​ 残差网络（ResNet）是何凯明在2015年提出的。可以说该网络模型的提出是CNN图像史上的里程碑事件。它解决了当时传统CNN网络发展所遇到的瓶颈——网络深度问题。当时，人们普遍认为网络的深度越深，网络的效果会越好。但是随着人们的研究发现，更深的网络居然会使得网络效果变差，这也就是网络的退化，而梯度消失则是导致网络退化的一个重要因素。何凯明提出的ResNet正是解决了问题，将14年VGG的19层网络提高到了ResNet惊人的152层，并且获得了更好的网络效果。 二、梯度消失：
【深度学习 | 梯度那些事】 梯度爆炸或消失导致的模型收敛困难？挑战与解决方案一览， 确定不来看看？
计算机魔术师的blog
08-14 2076
今天来跟大家聊一聊深度学习中的一个重要问题——梯度爆炸和梯度消失。这可是学习深度学习的同学们经常会遇到的难题哦！😱😱 首先，我们先来了解一下梯度爆炸的问题。当我们使用梯度下降算法进行训练时，有时候会出现梯度值变得非常大的情况，这就是梯度爆炸。梯度爆炸可能会导致模型无法收敛或收敛速度过慢。😫😫 那么，梯度爆炸是如何发生的呢？有几个原因可能导致这个问题的出现。首先，我们要注意激活函数的选择。如果我们在神经网络中使用了具有饱和性质的激活函数，比如Sigmoid函数，而且权重初始化不当，那么就可能会出现
Transformer 算法全面解析！从原理到实战，一篇搞定大模型核心技术与收藏必备指南！
最新发布
2401_84494441的博客
10-14 957
本文系统解析了Transformer架构的技术演进、核心原理与实现细节，涵盖自注意力机制、位置编码等关键技术，并提供完整PyTorch代码实现。同时介绍了Transformer在机器翻译、文本生成、计算机视觉等领域的生产级应用案例，以及模型压缩、推理优化等扩展技术，为学习大模型技术提供全面指导。
ResNet（残差网络）本文章为个人笔记，所有内容皆非原创，仅供参考
2301_80750681的博客
10-12 1971
残差块使得很深的网络更加容易训练（不管网络有多深，因为有跨层数据通路连接的存在，使得始终能够包含小的网络，因为跳转连接的存在，所以会先将下层的小型网络训练好再去训练更深层次的网络），甚至可以训练一千层的网络（只要内存足够，优化算法就能够实现）学习嵌套函数是神经网络的理想情况，在深层神经网络中，学习另一层作为恒等映射比较容易残差映射可以更容易地学习同一函数，例如将权重层中的参数近似为零利用残差块可以训练出一个有效的深层神经网络：输入可以通过层间的残余连接更快地向前传播。
Resnet到底在解决一个什么问题呢？
木东的博客
04-10 1205
相较于VGG的19层和GoogLeNet的22层，ResNet可以提供18、34、50、101、152甚至更多层的网络，同时获得更好的精度。但是为什么要使用更深层次的网络呢？同时，如果只是网络层数的堆叠，那么为什么前人没有获得ResNet一样的成功呢？ 1、为什么要使用更深层次的网络？ 从理论上来讲，加深深度学习网络可以提升性能。深度网络以端到端的多层方式集成了低/中/高层特征和分类器，且特征的层次可通过加深网络层次的方式来丰富。举一个例子，当深度学习网络只有一层时，要学习的特征会非常复杂，但如果有多层
深度学习：ResNet残差网络 -- 缓解梯度消失
qq_34941290的博客
11-21 1562
在深度学习的快速发展中，模型的深度和复杂性不断增加。然而，随着网络层数的增加，训练过程中的一些问题逐渐显现出来，尤其是梯度消失和梯度爆炸问题。这些问题导致了深层神经网络的性能下降，限制了模型的表达能力。为了解决这一问题，Kaiming He 等人在 2015 年提出了残差网络（ResNet），该架构通过引入残差学习的概念，显著提高了深层神经网络的训练效果。
梯度消失和梯度爆炸_梯度消失、爆炸的原因及解决办法
weixin_39683172的博客
12-17 1501
一、引入：梯度更新规则目前优化神经网络的方法都是基于反向传播的思想，即根据损失函数计算的误差通过梯度反向传播的方式，更新优化深度网络的权值。这样做是有一定原因的，首先，深层网络由许多非线性层堆叠而来，每一层非线性层都可以视为是一个非线性函数 f(x)，因此整个深度网络可以视为是一个复合的非线性多元函数：我们最终的目的是希望这个多元函数可以很好的完成输入到输出之间的映射。二、梯度消失、爆炸的原因下图...
反向传播算法推导、激活函数、梯度消失与爆炸
kundezui的博客
09-16 2652
BP算法
网络退化&&梯度消失&&梯度爆炸
weixin_42620513的博客
02-24 3747
** 网络退化、梯度消失、梯度爆炸 ** 网络退化：在增加网络层数的过程中，training accuracy 逐渐趋于饱和，继续增加层数，training accuracy 就会出现下降的现象，而这种下降不是由过拟合造成的。实际上较深模型后面添加的不是恒等映射，而是一些非线性层。因此，退化问题也表明了：通过多个非线性层来近似恒等映射可能是困难的。 恒等映射亦称恒等函数：是一种重要的映射，对任何元素，象与原象相同的映射 解决方案：学习残差。Resnet正是基于此问题提出。 梯度消失/梯度爆炸：二者问题问题都
卷积计算、1x1 卷积、BN、梯度爆炸与消失、ResNet残差、RoI Pooling 和 RoI Align
Francis Liu
02-13 1362
卷积输出计算以及卷积核参数计算 计算量 =，，即输入通道数、输出通道数、卷积核长、宽、输出特征图的长、宽的乘积； 参数数量 = 1 x 1 卷积的作用 参考：1 x 1 卷积的作用 当1*1卷积出现时，在大多数情况下它作用是升/降特征的维度，这里的维度指的是通道数（厚度），而不改变图片的宽和高。 e.g. W*H*6的特征...
目前所有的ANN神经网络算法大全
weixin_33872660的博客
09-03 5387
http://blog.sina.com.cn/s/blog_98238f850102w7ik.html 目前所有的ANN神经网络算法大全 (2016-01-20 10:34:17) 转载▼ 标签： it 概述 1 BP神经网络 1.1主要功能 1.2优点及其局限性 2 RBF（径向基）神经网络 ...
如何解决梯度消失和梯度爆炸问题
Ahead_J的博客
12-13 625
梯度消失 网络中靠近输出的层的梯度传播到靠近输入的层时趋于0 如何解决 预训练+微调 更换激活函数为relu，少用sigmoid或者tanh 批量规范化(batch norm) 残差网络resnet lstm 梯度爆炸 网络中靠近输出的层的梯度传播到靠近输入的层时趋于无穷 如何解决 梯度裁剪 权重正则化 批量规范化 参考：https://blog.youkuaiyun.com/qq_2...
梯度消失或者梯度爆炸
今晚打老虎
05-23 271
为什么会出现梯度消失或者梯度爆炸？ 在bp的链式求导过程中，连乘第二部分是sigmoid的导数，bp的推导过程.note 对于sigmoid函数： 其导数为：通过简单求导变换就可以得到，范围在0-0.25 对于多层的神经网络，连乘中还包含w权值， 如果bp过程中sigmoid的导数最大也就0.25，而且通常初始化参数一般小于1，所以其中的 就会小于1，当网络很深时，多...
LeNet试验（三）深入理解梯度消失/梯度爆炸及解决办法（激活函数、梯度剪裁、BN层、ResNet）
weixin_43960370的博客
03-28 835
梯度消失/爆炸是困扰深度神经网络的大问题，ResNet和BatchNormalization的原理在网上已有不少文章介绍，但是从文章的跟帖评论中可以看出，很多细节问题仍存在争论。比如说：（1）梯度消失是由sigmoid引起的吗？（2）BN层可以解决梯度消失/梯度爆炸问题吗？（3）ResNet为什么有效？为了弄清这些问题，我们这次在LeNet基础上改造网络，通过数据试验来分析这些问题。
【ResNet】ResNet到底在解决一个什么问题呢？
zenRRan的博客
05-03 1495
点击上方，选择星标或置顶，每天给你送干货！阅读大概需要20分钟跟随小博主，每天进步一丢丢编辑：Amusi（CVer） | 来源：知乎https://www.zhihu.com/que...
深度学习中的梯度消失、梯度爆炸问题的原因以及解决方法
热门推荐
随风秀舞（diyoosjtu）
04-10 1万+
本文简要介绍梯度消失 (gradient vanishing) 和梯度爆炸 (gradient exploding) 问题，并给出一些可行的解决方法。 神经网络在更新参数的过程中，使用反向传播 (Backpropagation) 算法求得各层网络的梯度，可以看作是神经网络式的链式法则。反向传播过程是导致梯度消失和梯度爆炸问题的主要原因，而且随着网络的深度增加，这些问题越发明显。 深度神经网络在解决...
resnet型神经网络的bp监督学习算法_科研成果 | 基于卷积神经网络和迁移学习的无监督变化检测算法...
weixin_28737073的博客
01-30 930
本文介绍了基于卷积神经网络和迁移学习的无监督变化检测算法，本工作由赛博智能团队的刘俊夫等人提出，相关论文已于2019年在领域期刊发表录用。Liu J, Chen K, Xu G, et al. Convolutional neural network-based transfer learning for optical aerial images change detection[J]...
RESNET
2303_79620604的博客
07-30 1108
resnet论文复现
梯度爆炸和梯度消失的成因和解决方案
10-14
### 梯度爆炸和梯度消失的成因 在深度神经网络中，梯度不稳定是基于梯度学习的根本问题，梯度消失和梯度爆炸属于梯度不稳定的范畴。产生梯度不稳定的根本原因是前面层上的梯度是来自后面层上梯度的乘积，当存在过多的层时，就会出现梯度不稳定场景，比如梯度消失和梯度爆炸。 BP算法基于梯度下降策略，以目标的负梯度方向对参数进行调整，计算梯度包含了对激活函数进行求导。如果此部分大于1，那么层数增多的时候，最终求出的梯度更新将以指数形式增加，即发生梯度爆炸；如果此部分小于1，那么随着层数增多，求出的梯度更新信息将会以指数形式衰减，即发生了梯度消失。二者都表现为当前面隐藏层的学习速率低于后面隐藏层的学习速率，即随着隐藏层数目的增加，分类准确率反而下降了[^1][^3]。 ### 梯度爆炸和梯度消失的解决方案 #### 梯度爆炸的解决方案 - **梯度裁剪**：对梯度进行裁剪，限制梯度的最大值，避免梯度过大。例如在PyTorch中可以使用`torch.nn.utils.clip_grad_norm_`函数： ```python import torch import torch.nn as nn # 定义一个简单的模型 model = nn.Sequential( nn.Linear(10, 20), nn.ReLU(), nn.Linear(20, 1) ) # 定义优化器 optimizer = torch.optim.SGD(model.parameters(), lr=0.01) # 模拟损失 loss = torch.randn(1) # 反向传播计算梯度 loss.backward() # 梯度裁剪 torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0) # 更新参数 optimizer.step() ``` - **使用合适的激活函数**：选择导数不会过大的激活函数，如ReLU及其变种，ReLU的导数在正数部分为1，不会出现梯度爆炸的问题。 ```python import torch import torch.nn as nn model = nn.Sequential( nn.Linear(10, 20), nn.ReLU(), # 使用ReLU激活函数 nn.Linear(20, 1) ) ``` - **正则化**：如L1和L2正则化，通过在损失函数中添加正则项，限制模型参数的大小，从而缓解梯度爆炸。 #### 梯度消失的解决方案 - **使用合适的激活函数**：选择导数不会过小的激活函数，如ReLU、LeakyReLU等。ReLU在正数部分的导数为1，不会出现梯度消失的问题。 ```python import torch import torch.nn as nn model = nn.Sequential( nn.Linear(10, 20), nn.LeakyReLU(negative_slope=0.01), # 使用LeakyReLU激活函数 nn.Linear(20, 1) ) ``` - **Batch Normalization**：在神经网络中添加Batch Normalization层，对输入进行归一化处理，使得每一层的输入分布相对稳定，缓解梯度消失问题。 ```python import torch import torch.nn as nn model = nn.Sequential( nn.Linear(10, 20), nn.BatchNorm1d(20), # 添加Batch Normalization层 nn.ReLU(), nn.Linear(20, 1) ) ``` - **残差连接**：在深度神经网络中使用残差块，如ResNet中的残差结构，允许信息直接跳过一些层，使得梯度能够更有效地传播。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值