【深度学习】RNN | GRU | LSTM

最新推荐文章于 2024-11-13 12:57:47 发布
转载 最新推荐文章于 2024-11-13 12:57:47 发布 · 118 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：http://www.cnblogs.com/zhaopAC/p/10240968.html
文章标签：

#人工智能

本文深入探讨了循环神经网络（RNN）、门控循环单元（GRU）和长短期记忆网络（LSTM）的工作原理。从RNN的基本结构开始，解释了其在处理序列数据时面临的梯度消失与梯度膨胀问题。接着介绍了GRU如何通过引入重置门和更新门来缓解这些问题，以及LSTM如何进一步改进，通过遗忘门、输入门和输出门实现更有效的长期依赖学习。

目录：

1、RNN

2、GRU

3、LSTM

 

一、RNN

1、RNN结构图如下所示：

其中：

$a^{(t)} = \boldsymbol{W}h^{t-1} + \boldsymbol{W}_{e}x^{t} + \mathbf{b}$

$h^{t} = f(a^{t})$, f 是激励函数，sigmoid或者tanh

$\hat{y}^{t} = Uh^{t}$

2、RNN中的梯度消失与梯度膨胀

 总损失是所有时间步的和：$E =  \sum_{t=1}^{T}E_{t}$，所以$\frac{\partial E}{\partial W} = \sum_{t=1}^{T}\frac{\partial E_{t}}{\partial W}$

 而

$\frac{\partial h_{j}}{\partial h_{j-1}} = \frac{\partial f(a_{j})}{\partial h_{j-1}} = f^{'}(a_{j})W$, 不知道是W还是WT，大概是这样的，因为是累乘，所以如果f'太大或者太小就会梯度膨胀或消失

 

二、GRU

参考 https://towardsdatascience.com/understanding-gru-networks-2ef37df6c9be

相对于RNN来说，GRU主要增加了两个门 重置门 r 和 更新门 u，重置门用来决定会保留多少历史信息，如果是0的话，就不会保持历史信息；更新门用来衡量当前与历史的取舍

GRU是如何解决梯度消失与膨胀的？https://www.cs.toronto.edu/~guerzhoy/321/lec/W09/rnn_gated.pdf

好像是这样，但是感觉还是不能解决梯度消失，如果zj和后面的偏导都非常小，还是会梯度弥散？

 

 

三、LSTM

http://colah.github.io/posts/2015-08-Understanding-LSTMs/

转载于:https://www.cnblogs.com/zhaopAC/p/10240968.html

メイ
关注
RNN&LSTM&GRU
shichaog的专栏
06-03 2173
RNN相对于CNN，RNN可以记录历史信息，使其在解决序列问题方面很有用处，其被广泛应用于语音识别，语言模型，翻译和图像标注等。 RNN网络具有记忆前序状态的功能。 展开后的模型如下： 长期依赖问题加入说“云在天空”，根据“云在”推出“天上”比较容易。 即根据x0,x1,...,x_0,x_1,...,可以预测h3h_3 然而，如果说“小强出生在中国，…,他的母语是中文”，如果要推
自然语言处理基础知识入门(三) RNN，LSTM，GRU模型详解
WANGYANG的博客
04-14 2718
在上一章节中，深入探讨了Word2vec模型的两种训练策略以及创新的优化方法，从而得到了优质的词嵌入表示。不仅如此，Word2vec作为一种语言模型，也具备根据上下文预测中心词的能力，这是其训练的核心任务，也是模型所能实现的功能。那么，既然已有语言模型，为何还需要引入RNN呢？又或者，RNN具有何种独特性呢？而LSTM和GRU为什么会被视为RNN的变体？本章节将针对这些问题，用深入浅出的语言解读这些模型背后的核心逻辑，以便让读者对整个知识体系存在一个全面的理解。
RNN之GRU
风间琉璃的博客
02-15 1814
LSTM 具有更长的记忆能力， 在大部分序列任务上面都取得了比基础的 RNN 模型更好的性能表现，LSTM 不容易出现梯度弥散现象。 但是 LSTM 结构相对较复杂， 计算代价较高，模型参数量较大。 一、GRU原理 研究发现， 遗忘门是 LSTM 中最重要的门控， 甚至发现只有遗忘门的网络在多个基准数据集上面优于标准 LSTM 网络。 在简化版 LSTM中，门控循环网络(Gated Recurrent Unit，简称 GRU)是应用最广泛的 RNN 变种之一。 GRU把内部状态向量和输出向量合并，统一.
RNN---GRU
gaohanjie123的博客
03-21 399
RNN系列之五 GRU
qq_28437273的博客
03-22 1100
1.简化版GRU    一般的RNN的单元结构如下图所示：                                                   ---来源Andrew Ng深度学习课件    GRU（Gated Recurrent Units）改进了隐藏层，从而使梯度消失的问题得到改善。如下图：                                            ...
【NLP自然语言处理学习笔记04神经网络模型--- CNN、RNN、LSTM、GRU (含莫烦代码解析)】
CrazyDog_JJ的博客
07-04 1862
和LSTM一样，也是为了解决长期记忆和反向传播中的梯度等问题而提出来的。损失函数是各输出的损失加和；其中超参数是filter size=f和stride=s是自己设置的，这层没有要学习的参数。与LSTM相比，GRU内部少了一个”门“，参数比LSTM少，却能达到与LSTM相当的功能，我们常常觉得GRU更加”实用“！（3）filter的长度一般取3，一般会取基数，使得除法可以整除。记忆门🚪：要保留/忘记多少信息（类似于LSTM中的遗忘门🚪）（1）p为填充长度（为了保证对称一般用2p表示填充大小）；
[神经网络与深度学习]RNN，GRU，LSTM，GAN，Transformer
weixin_56809732的博客
04-28 1003
生成器 G的 输入为隐空间的随机数据，它的作用是生成类似于真实样本的数据。例如某一个词元的影响至关重要，加入GRU可以在不给该词元指定一个非常大的梯度的情况下存储重要的信息。Transformer是由编码器和解码器组成的，编码器和解码器是基于自注意力的模块叠加而成的。编码器是由多个相同的层叠加而成的，每个层都有两个子层，包括多头自注意力汇聚和基于位置的前馈网络。如图所示为LSTM中包含的输入门，遗忘门和输出门，他们都通过sigmoid激活函数处理，所以这三个门的值都在（0,1）之间。
深度学习--几种常见的循环神经网络视频教学（RNN+LSTM+GRU）
06-10
深度学习的顶级循环神经网络的工作方式包括 LSTM、GRU 和 RNN. 循环神经网络(RNN)在自然语言处理、语音识别等有很广泛的用途。LSTM和GRU是目前使用最广泛的两个循环神经网络的模型变种。该视频课程内容主要分为三大...
深度学习之RNN,LSTM,GRU,CNN-GRU,ABLSTM(pytorch实现)
Dog_King_的博客
04-27 4119
RNN模型最重要的贡献就是引入了隐藏层，隐状态存储的都是前一些时刻的相关特征信息，也是隐状态让模型有了记忆的能力。计算公式就类似于线性层。t时刻的H是由t-1时刻的H（也就是记忆的之前的信息），加上Xt（当前时刻的特征）GRU模型和前面的RNN模型很像，包括输入特征、隐藏态、输出。但是又有了改进，主要改进了隐藏态H的计算方法，通过门控制隐状态。这里引进了门，就是数电那种逻辑电路。这里引入了重置门和更新门，都是根据上一个时刻的隐藏态和t时刻的特征X计算得出。GRU还引入了候选隐状态。
NASA和CALCE 锂电池数据集基于Pytorch的RNN LSTM GRU 寿命预测源码+说明文档
最新发布
06-05
NASA和CALCE 锂电池数据集基于Pytorch的RNN LSTM GRU 寿命预测源码+说明文档NASA和CALCE 锂电池数据集基于Pytorch的RNN LSTM GRU 寿命预测源码+说明文档NASA和CALCE 锂电池数据集基于Pytorch的RNN LSTM GRU 寿命预测...
深度学习RNN 经典论文69篇，包含LSTM应用，LSTM综述，RNN应用，RNN综述
03-29
深度学习RNN（循环神经网络）是人工智能领域中一种重要的序列模型，尤其在自然语言处理、语音识别和时间...无论是初学者还是资深研究人员，这个压缩包都能提供丰富的学习材料，有助于深化对深度学习中RNN和LSTM的理解。
大话循环神经网络RNN、LSTM、GRU
全栈O-Jay的博客
04-02 3863
一文极速了解循环神经网络RNN、LSTM、GRU！
循环神经网络（GRU）全面解析
热门推荐
hello.reader
11-13 2万+
GRU（Gated Recurrent Unit，门控循环单元）是一种循环神经网络（Recurrent Neural Network, RNN）变体，旨在处理序列数据。GRU在LSTM（Long Short-Term Memory，长短期记忆网络）的基础上进行了简化，引入了更少的参数量和结构复杂度。GRU通过使用门控机制有效解决了传统RNN存在的梯度消失和梯度爆炸问题，尤其适合处理长时间依赖的数据。GRU的设计目的是在保持计算效率的同时，拥有较高的性能，适用于广泛的序列处理任务。
（三）循环神经网络RNN之LSTM和GRU
qq_34184505的博客
02-08 1282
LSTM(Long Short Term Memory)是 Hochreater 和 Schmidhuber 在 1997 年提出的一种网络结构，尽管该模型在序列建模上的特性非常突出，但由于当时正是神经网络的下坡期，没有能够引起学术界足够的重视。随着深度学习逐渐发展，后来 LSTM 的应用也逐渐增多。LSTM 区别于 SimpleRNN 的地方，主要就在于它在算法中加入了一个判断信息有用与否的“处理器”，这个处理器作用的结构被称为记忆块（Memory Block）遗忘门输入门输出门。
记忆网络RNN、LSTM与GRU
YoungGy的专栏
05-09 2749
一般的神经网络输入和输出的维度大小都是固定的，针对序列类型（尤其是变长的序列）的输入或输出数据束手无策。RNN通过采用具有记忆的隐含层单元解决了序列数据的训练问题。LSTM、GRU属于RNN的改进，解决了RNN中梯度消失爆炸的问题，属于序列数据训练的常用方案。
RNN及LSTM、GRU详解，附pytorch代码解释，超详细讲解
m0_59156726的博客
06-13 4324
拿chatgpt给的答案，这就是这次的全部了，重要一点rnn都是历史的产物了，但是是基础，后面有机会在看transform如何克服rnn这些缺点，一度逆袭的。RNN：可以处理时间序列数据，具有记忆功能，能够传递信息；网络结构简单，易于实现；可以接受任意长度的输入。长期依赖关系不佳，容易出现梯度消失或爆炸问题；训练过程中参数更新困难，容易过拟合；难以处理变长的输入数据。LSTM：具有很好的长期依赖性，能够处理长序列数据；
对RNN、LSTM、GRU的理解
weixin_45787600的博客
03-15 7344
本文章是根据本人在查阅了csdn，bilibili之后而写的心得，有部分内容转载于csdn。 试验结果是根据中国mooc大学 TensorFlow学习笔记提供的代码的结果。
RNN / LSTM / GRU 架构解析
zz3035786953的博客
11-15 1715
一、传统RNN模型 1.1 RNN模型介绍 1.2 RNN模型的分类 1.3 传统RNN的内部结构图 二、LSTM模型 2.1 LSTM组成 2.2 LSTM的内部结构图 2.3 Bi-LSTM 2.4 Pytorch中LSTM工具的使用 2.5 LSTM优势 2.6 LSTM缺点: 三、GRU模型 3.1 GRU组成 3.2 GRU的内部结构图和计算公式
深度学习现代RNN：GRU、LSTM与高级架构解析
现代RNN（Modern RNN）是一种深度循环神经网络（Deep Recurrent Neural Network），在处理序列数据时表现出强大的学习能力和记忆能力。RNN的核心组成部分包括GRU（Gated Recurrent Unit）、LSTM（Long Short-Term ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值