复现RNN的梯度消失 & 验证LSTM解决了梯度消失

最新推荐文章于 2025-12-15 12:47:12 发布

原创

最新推荐文章于 2025-12-15 12:47:12 发布 · 489 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#rnn #lstm #深度学习

背景

RNNCell的计算公式

LSTMCell的计算公式

根据上面公式得出的梯度公式可得出RNN会导致梯度消失，但LSTM不会，本质的原因是RNN的参数只有W, LSTM的参数有W+b，b可以根据实际情况来调整，具体的求导公式什么的就不列出来了。

RNN梯度消失

import torch
import torch.nn as nn
import torch.optim as optim

# 定义一个简单的 RNNCell
class SimpleRNNCell(nn.Module):
    def __init__(self, input_size, hidden_size):
        super(SimpleRNNCe

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

我知秋意浓

关注关注

5
点赞
踩
8

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

如何解决RNN中的梯度消失问题？

优快云精品推荐

08-08

1229

为了解决梯度消失问题，出现了一些改进型的RNN结构，如长短时记忆网络（LSTM）和门控循环单元（GRU），它们引入了门控机制，能够更好地捕捉长期依赖关系，从而缓解了梯度消失问题。每个时间步的梯度计算都需要将之前时间步的梯度乘以一个权重矩阵（循环权重），这会导致梯度值在反复相乘时逐渐减小，从而可能消失到接近零。设置一个梯度范数的阈值，在反向传播过程中，如果梯度的范数超过了阈值，就对梯度进行缩放，从而避免梯度爆炸问题，同时也有助于缓解梯度消失问题。将批量标准化应用于RNN的输入数据，可以减少梯度消失问题。

梯度爆炸与 梯度消失

Rhett_Butler0922的博客

05-17

1093

梯度爆炸是指在神经网络训练过程中，反向传播时计算的梯度值变得非常大（趋向于无穷大），导致模型参数更新过大，损失函数值剧烈震荡甚至发散，最终模型无法收敛。直观理解：想象你在调整一个滑块来优化某个目标，但每次调整的幅度都过大，导致滑块完全偏离目标位置，甚至“飞出去”。梯度爆炸：梯度过大，导致参数更新过大，损失震荡或发散。解决方法包括梯度裁剪、权重初始化、降低学习率、使用稳定优化器。梯度消失：梯度过小，导致参数更新缓慢，训练停滞。

参与评论您还未登录，请先登录后发表或查看评论

1 条评论

优快云-Ada助手 2024.10.01
恭喜你这篇博客进入【优快云每天最佳新人】榜单，全部的排名请看 https://bbs.youkuaiyun.com/topics/619343982。

LSTM解决梯度消失问题

Resurrected_Eagle的博客

09-02

872

为什么rnn循环神经网络会有梯度消失的情况，而lstm可以避免这种情况的发生？使用梯度下降的方式来更新，如果有很多个这样的数相乘的话，就会使得梯度趋近于0。 梯度消失导致的问题其实是权重w几乎不更新，这样就很难找到一个合适的权重w,去映射输入值与输出值之间的关系。 - LSTM中神经元之间的连接不仅仅有h, 还有信息C, h在神经元之间的传递会经过sigmoid函数处理，但是C不会。所以与C相关的权重W的更新不会因为神经元链过长而产生梯度消失的现象（指的是，遗忘门，信息增益门的权重w）。但是输出门

LSTM为什么可以缓解梯度消失

guohui_0907的博客

08-23

7479

1 LSTM问什么可以缓解梯度消失        首先要明确的一点是，LSTM并不能完全解决梯度消失的问题，仅仅只是缓解。        原始的LSTM是没有遗忘门的，所以CtC_tCt的更新如下： Ct=Ct−1+it∗C^tC_t=C_{t-1}+i_t...

真正讲明白为什么LSTM可以防止梯度消失或爆炸

z2876563的博客

02-07

3076

参考https://weberna.github.io/blog/2017/11/15/LSTM-Vanishing-Gradients.html#fn:3 要讲明白为什么LSTM可以防止梯度消失，就是要讲明白、这两个求导的连乘为什么不是无穷大或0. 百度上搜索这个问题的解答基本上都模糊不清或者是错误的，而且关于的求导公式基本是错的，太误人子弟了！以下摘两个我看的阅读量比较高的错误博客。错误示范1：https://zhuanlan.zhihu.com/p/28749444 这个博客的求导.

从 RNN 到 GRU、LSTM 再到 Transformer （万字详解）

Java_fenxiang的博客

05-30

1186

transformer模型本体的编码器数量一般小于Bert中编码器的数量，导致词汇对上下文的融合能力较弱，此外，由于transformer模型本体一般都以具体的下游任务为导向，数据总量与多样性均不足，并且有明确标注的数据可能在一词多义的情况下导致过拟合(例如模型在测试时遇到低频语义时，可能错误应用高频语义)，所以该方法对多义词的处理效果差，即词向量的动态性差。：单维离散，每一个维度采用二进制作为周期函数，非0即1，没有中间量，这种不连续的跳变不符合真实情况(真实的位置信息往往是连续的)，不利于模型学习。

循环神经网络（RNN）与长短期记忆网络（LSTM）详解

2402_84226753的博客

04-25

1802

循环神经网络（RNN）与长短期记忆网络（LSTM）详解

RNN(LSTM&GRU)文本分类（PaddlePaddle2.0）

chenqianhe2的博客

03-19

3622

RNN(LSTM&GRU)文本分类（PaddlePaddle2.0）一、RNN简介循环神经网络（Recurrent Neural Network, RNN）是一类以序列（sequence）数据为输入，在序列的演进方向进行递归（recursion）且所有节点（循环单元）按链式连接的递归神经网络（recursive neural network）。它与DNN,CNN不同的是: 它不仅考虑前一时刻的输入,而且赋予了网络对前面的内容的一种’记忆’功能. RNN之所以称为循环神经网路，即一个序列当前的输

从RNN讲到LSTM，再讲到Transformer

Hazel_HY的博客

07-13

1045

本文从RNN入手，讲到改进后的LSTM，最后又在这个基础上深入探讨了Transformer的重要性和具体操作。

LSTM_MY_updata_to_precise RNN卷积神经网络，LSTM，使用matlab实现，简单的数据拟合.zip

06-26

LSTM是一种递归神经网络（RNN）的变体，它解决了标准RNN在处理长期依赖问题上的梯度消失或爆炸问题。LSTM通过引入“门”结构，包括输入门、遗忘门和输出门，来控制单元状态的更新，从而能够更好地保留和传递长距离的...

rnn lstm 分类.zip_LSTM_LSTM处理mnist数据分类_RNN_RNN分类_rnn 分类

09-15

然而，标准RNN在处理长序列时往往面临梯度消失或梯度爆炸的问题，限制了其对长时间依赖的学习能力。 **LSTM** 为解决RNN的局限性而设计，它引入了门控机制来控制信息的流动。LSTM包含三个主要部分：遗忘门、输入门...

基于知识图谱+深度学习的大数据NLP医疗知识问答可视化系统（全网最详细讲解及源码/建议收藏）

未来社会二十年发展的核心技术趋势由ABCD四个字母组成，分别是AI（人工智能）、BlockChain（区块链）、Cloud（云）、和Data（大数据）每一次进步都有新的认知和感触

12-15

850

本文详细介绍了一个基于知识图谱与深度学习的医疗问答系统。系统采用Neo4j存储医疗知识图谱，使用Aho-Corasick算法进行高效多模式匹配，并整合了BERT+LSTM+CRF深度学习模型。实现流程包括数据爬取、清洗、实体识别、知识图谱建模等步骤，最终构建了一个具有可视化界面的Flask应用。系统支持自然语言问答，能自动存储交互记录到SQL数据库。文章还详细说明了所需的软件环境配置（JDK1.8、Neo4j4.4.5等）和项目目录结构，为开发者提供了完整的实现方案和技术细节。

深度学习中 z-score 标准化理解

musk1212的博客

12-11

1123

摘要： z-score标准化是深度学习中关键的数据预处理方法，通过将数据转换为均值为0、标准差为1的分布，有效提升模型训练效率并消除特征量纲差异。其核心公式为z=(x-μ)/σ，适用于加速收敛、平衡多特征权重及异常值检测等场景。与Min-Max归一化相比，z-score对异常值更鲁棒，是神经网络训练的首选方法。需注意避免数据泄露问题（测试集必须使用训练集的μ和σ），并处理标准差为0的特殊情况。批量归一化(BatchNorm)是z-score的动态扩展版本。

RNN（循环神经网络）原理

weixin_45776000的博客

12-12

490

RNN的突破：引入"记忆"概念，让网络可以记住之前的信息来处理当前输入。无法建模时间依赖：比如语言中"我今天吃了__"的预测需要前面信息。无记忆性：每个输入独立处理，忽略序列中元素的时间/顺序关系。关键：所有时间步共享相同的权重参数 W, U, V。主要问题：梯度消失/爆炸，通过LSTM/GRU缓解。W: 隐藏状态权重 (h_t-1 → h_t)应用场景：NLP、时间序列、语音识别等序列任务。输入：序列 → 编码 → 解码 → 输出序列。U: 输入权重 (x_t → h_t)

基于深度学习的网络流量异常检测系统

XiaoMu_001的博客

12-11

983

本项目旨在构建一个基于深度学习的高效网络流量异常检测系统。系统采用 **B/S 架构**，前后端分离设计。后端基于 **Django** 框架，前端采用 **Vue 3** + **Element Plus**。核心检测引擎利用 **PyTorch** 构建深度学习模型（MLP 和 1D-CNN），能够对网络流量数据进行实时或离线分析，精准识别良性流量及多种类型的网络攻击（如 DoS, PortScan, Web Attack 等）

机器学习与深度学习基础（五）：深度神经网络经典架构简介

TracyCoder的博客

12-11

825

本文学习要点：1.深度神经网络分层架构：全连接层卷积层池化层2.深度神经网络代表:CNN：CNN、AlexNet、VGG-Net、GoogLeNet（Inception）、ResNet（残差连接）编码器-解码器架构：序列到序列模型（Seq2Seq）

授权委托书识别技术：利用深度学习和NLP实现纸质文档的智能解析

智能图像识别

12-12

773

摘要：授权委托书识别技术利用深度学习和NLP实现纸质文档的智能解析，通过OCR和NER技术精准提取关键字段，准确率达98%以上。该系统具备批量处理、自适应学习、风险预警等功能，处理效率较人工提升数十倍，已广泛应用于政务、金融、法律等领域。该技术不仅大幅提升业务办理效率，还通过本地化部署确保数据安全，正推动多行业数字化转型，未来将与区块链等技术进一步融合，构建更完善的数字化授权解决方案。（149字）

基于YOLO11-seg的白蚁种类智能识别与分类系统——利用深度学习技术实现白蚁图像分割与多类别精准识别