GRU和LSTM通俗解释

最新推荐文章于 2025-04-30 14:03:16 发布
最新推荐文章于 2025-04-30 14:03:16 发布
阅读量1.1k 收藏 2
点赞数
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_44969471/article/details/108263819
版权
GRU是为简化LSTM而设计的，通过重置门和更新门控制信息传递，使有用信息能跨越长距离。LSTM则通过输入门、遗忘门和输出门精细控制记忆单元，实现序列信息的有效存储和利用。两者旨在解决RNN的长期依赖问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、GRU
首先需要明确的是，GRU出现的时间是在LSTM之后的，其实为了简化LSTM而产生的，由于其简易型，一般都会先进行介绍。

首先来看一下RNN的示意图，如下。这里不做解释。
在这里插入图片描述

下图是GRU的示意图，相较于RNN似乎复杂了许多。其只是增加了一个cell来存储需要远程传递的信息以及相应的gate来管控信息的传递。

在这里插入图片描述

前一层的隐藏状态与本层的输入合在一起分别进入激活函数中，得到重置门R，更新门Z。

随后重置门决定前一层的隐藏状态如何参与本层的输入计算，得到候选隐藏状态。这里重置门的大小主要决定前一层的输出结果与本层的输出结果的关系。

更新门则是决定是否使用候选隐藏状态来更新隐藏状态，还是使用上一层的状态进行传播。这里非此即彼。

事实上，从公式中来观察GRU可能更加易懂。

Rt=σ(XtWxr+Ht−1Whr+br)Zt=σ(XtWxz+Ht−1Whz+bz)H˜t=tanh(XtWxh+(Rt⊙Ht−1)Whh+bh)Ht=Zt⊙Ht−1+(1−Zt)⊙H˜t

两个门的计算都是根据前一层H和

最低0.47元/天 解锁文章
LSTM算法基础总结
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
12-04 1万+
LSTM算法是一种重要的目前使用最多的时间序列算法，是一种特殊的RNN（Recurrent Neural Network，循环神经网络），能够学习长期的依赖关系。所有RNN都具有神经网络的重复模块链的形式。 在标准的RNN中，该重复模块将具有非常简单的结构，例如单个tanh层。
LSTM和GRU
weixin_42717395的博客
04-03 596
Long Short Term 网络，一般就叫做 LSTM ，是一种 RNN 特殊的类型，可以学习长期依赖信息。LSTM 通过刻意的设计来避免长期依赖问题。记住长期的信息在实践中是 LSTM 的默认行为，而非需要付出很大代价才能获得的能力！ 　　所有 RNN 都具有一种重复神经网络模块的链式的形式。在标准的 RNN 中，这个重复的模块只有一个非常简单的结构，例如一个 tanh 层。 ...
GRU与LSTM
lpty的博客
09-23 1万+
一、前言 GRU是LSTM的一种变体，综合来看： 1、两者的性能在很多任务上不分伯仲。 2、GRU 参数相对少更容易收敛，但是在数据集较大的情况下，LSTM性能更好。 3、GRU只有两个门（update和reset），LSTM有三个门（forget，input，output） LSTM还有许多变体，但不管是何种变体，都是对输入和隐层状态做一个线性映射后加非线性激活函数，重点在于额外的门控机制是如何...
GRU与LSTM总结
热门推荐
lreaderl的博客
09-18 12万+
一、LSTM（长短期记忆网络）LSTM是一种特殊的RNN类型，一般的RNN结构如下图所示，是一种将以往学习的结果应用到当前学习的模型，但是这种一般的RNN存在着许多的弊端。举个例子，如果我们要预测“the clouds are in the sky”的最后一个单词，因为只在这一个句子的语境中进行预测，那么将很容易地预测出是这个单词是sky。在这样的场景中，相关的信息和预测的词位置之间的间隔是非常小的
GRU：时间序列预测的关键技术
最新发布
weixin_35916518的博客
04-30 796
在深度学习的浪潮中，循环神经网络（RNN）家族的新成员——门控循环单元（GRU）因其在处理序列数据方面的高效性和有效性逐渐受到关注。GRU特别适用于处理和预测时间序列数据，如语音识别、自然语言处理和金融市场分析等。
GRU和LSTM
qq_40887371的博客
04-05 5173
GRU和LSTM LSTM与GRU的存在是为了解决简单RNN面临的长期依赖问题（由于反向传播存在的梯度消失或爆炸问题，简单RNN很难建模长距离的依赖关系），一种比较有效的方案是在RNN基础上引入门控机制来控制信息的传播。 更通俗地说,比如很长一句话,靠后的某个词和靠前的某个词存在某种关联,简单RNN模型很难把这个靠前的这个词的信息传递到后面 GRU门控循环单元 他能够让你可以在序列中学习非常深的连接 GRU相当于LSTM的简化版 基本原理 引入两个信息控制门 Γu=σ(ωu[c⟨t−1⟩,
LSTM与GRU
学习笔记
01-29 334
由于RNN的梯度计算时,总会有一项Whh的k-i次方， 当i越小， 即(越靠前的层)，Whh的k-i次方会越来越大，所以越前的层的梯度越容易出现梯度爆炸现象。 Gradient clipping LSTM(可以解决梯度爆炸问题) RNN原始模型 LSTM结构 可以看到LSTM的梯度计算公式为4项的和，这样可以防止出现次方项使梯度过大，也不会因为某一项的大小影响总体的梯度稳定。 也可以这样看： 当remember gate way 接近于1时，Ct 将约等于Ct-1，memo
史上最小白之LSTM 与 GRU详解
Tink1995的博客
03-18 1万+
1.前言 上一篇介绍了循环神经网络 RNN，正好今天周日在家闲着也是闲着，就干脆趁热打铁，把LSTM和GRU也介绍一下吧。不太清楚RNN原理的同学可以参考我上一篇博客：史上最小白值RNN详解 2.LSTM （Long short-term memory） 2.1为什么需要LSTM Long short-term memory，也就是长短期记忆，那么从字面意思来理解LSTM就是一种不仅具有短期记忆而...
自然语言处理常用RNN、LSTM、GRU举例详解，通俗易懂
weixin_43162364的博客
06-27 2717
之前疫情网民情绪识别的模型用到了LSTM，最近面试被问到具体细节，感觉被拎出来羞辱，经过认（cha）真（yue）思（wen）考（xian），总结了一下RNN、LSTM、GRN的一些知识。为了更加易懂，本文会采用疫情网民情绪识别这篇文章里的例子。 RNN详解 说到LSTM，还是要先从RNN（循环神经网络）开始描述，算是LSTM的基础。RNN经典的模型分解可以用如下图片解释，这也是我在大部分文章中看到的解释，感兴趣的可以到RNN详解这篇文章中看看。 左侧部分，x、s、o都是向量，分别表示输入层、隐藏层和输出层
从RNN讲起(RNN、LSTM、GRU、BiGRU)——序列数据处理网络
薛定谔的猫的博客
10-12 5251
循环神经网络是一类用于处理序列数据的神经网络，它一般以序列数据作为输入，通过网络内部的结构设计有效地捕捉序列之间的关系，以序列的形式输出。与传统的前馈神经网络不同，RNN具有"记忆"能力，通过在网络中引入循环连接，使得其可以利用先前的输入信息来影响当前的输出。这使得RNN非常适合处理具有时间依赖性或顺序性的任务。长短期记忆网络（LSTM, Long Short-Term Memory）是一种特殊的循环神经网络RNN，设计用来解决传统RNN在处理长序列数据时遇到的梯度消失和梯度爆炸问题。
现代循环神经网络（一）——GRU与LSTM
2301_78829965的博客
03-29 1314
李沐大神 动手学深度学习 笔记
门控循环神经网络LSTM与GRU（附python演练）
小白学视觉
07-10 4507
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达编辑 |安可出品 |磐创AI技术团队目录：门控循环神经网络简介长短期记忆网络（LSTM）门控制循环单元（GRU）TensorFlow实现LSTM和GRU参考文献一、 门控循环神经网络门控循环神经网络在简单循环神经网络的基础上对网络的结构做了调整，加入了门控机制，用来控制神经网络中信息的传递。门控机制...
循环神经网络系列(二) LSTM 和 GRU
小小何先生的学习之旅
07-10 571
文章目录LTSM遗忘门输入门输出门GRU   本文是RNN的学习笔记，主要是整理了一下，如有侵权请联系删除。   LSTM(long short-term memory)和GRU(gated recurrent unit)的思路有点类似渗漏单元，通过门控来决定信息的保留与否，从而使得梯度不消失也不爆炸。   这里并没有对LSTM和GRU做梯度计算，其过程和循环神经网络系列(一) RNN、双向RNN、深度RNN类似，感兴趣小伙伴可以自己推导一下(以后自己用到的时候再来推导补上，大概率不会用到，哈哈哈哈)。 L
深度学习（五）~ LSTM 与 GRU
布拉拉巴卜拉的博客
06-12 1307
深度学习（六）~基于门控的循环神经网络基于门控的循环神经网络1. 长短期记忆神经网络(LSTM)1. RNN vs LSTM2. LSTM工作机制(1).【LSTM前向传播】(2).【LSTM反向传播】2. 门控循环单元网络(GRU)1. GRU工作机制 基于门控的循环神经网络 1. 长短期记忆神经网络(LSTM) 1. RNN vs LSTM 参数学习过程中连乘项可能发生极大或极小的情况，从而影响最终结果，也即梯度消失与梯度爆炸问题 LSTM采用了累加形式解决这一问题，但它的实现较复杂.与传统的循环神经
LSTM和GRU介绍
qq_34438672的博客
10-25 511
转载：：：：https://blog.youkuaiyun.com/hjimce/article/details/51234311
自然语言处理之LSTM、GRU
qq_40216188的博客
08-28 745
自然语言处理之LSTM一级目录二级目录三级目录 一级目录 二级目录 三级目录
LSTM模型
weixin_46556352的博客
04-26 682
LSTM模型
LSTM 解释
04-12
我需要解释清楚LSTM的结构，包括细胞状态和各种门的作用。 接下来，我需要整理LSTM的核心组成部分。引用[2]提到LSTM由Hochreiter和Schmidhuber提出，之后被改良和推广。门控机制包括遗忘门、输入门和输出门，每个门...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值