【自然语言处理|RNN-02】：LSTM和GRU模型

已于 2024-12-10 22:20:59 修改
阅读量1.2k 收藏 16
点赞数 35
分类专栏： 自然语言处理（NLP） 文章标签： rnn lstm 自然语言处理
于 2024-11-29 09:03:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_51385258/article/details/144124276
版权

文章目录

1 LSTM模型

1.1 LSTM模型介绍

LSTM（Long Short-Term Memory）也称长短时记忆结构

  • LSTM是传统RNN的变体
  • LSTM与经典RNN相比，能够有效捕捉长序列之间的语义关联，缓解梯度消失或梯度爆炸现象。

LSTM结构说明
在这里插入图片描述

  • 由输入层、隐藏层、输出层组成
  • 每个时间步有三个输入：数据端输入，上一个时间步细胞状态Ct-1，上一个时间步的ht-1
  • 每个时间步有三个输出：数据端输出，本时间步细胞状态Ct，本时间步的ht
  • LSTM结构更加复杂，内部有3个门+1个细胞状态：遗忘门、输入门、细胞状态、输出门

1.2 LSTM模型内部结构

  • 遗忘门

释义：上一个时间步隐藏输出和数据端输入拼接在一起，与权重参W, 进行矩阵运算，再把数据经过sigmoid变换到[0,1]区间，形成输入门
作用：遗忘门 作用在上一个时间步细胞状态之上，表示对上一个时间步信息遗忘多少
在这里插入图片描述

  • 输入门

释义：输入门作用内部细胞状态之上，表
示对内部细胞状态要使用多少
在这里插入图片描述

  • 细胞状态

释义：遗忘门作用在上一个时间步细胞状态之上 +输入门作用内部细胞状态之上，更新细胞状态
经典RNN结构作为内部细胞状态
在这里插入图片描述

  • 输出门

释义：输出门作用内部细胞状态之上，表示对内部细胞状态要使用多少
在这里插入图片描述

1.3 LSTM如何实现记忆信息

  1. 首先，LSTM引进门控机制和细胞状态，也就是内部记忆单元。
  2. 在⼀个训练好的⽹络中，当输⼊的序列中没有重要的信息时，LSTM的遗忘门的数值接近于1，输入门的数据接近于0，此时过去的记忆会被保存，从⽽实现了长期的记忆功能；
  3. 当输⼊的序列中出现了重要的信息时，LSTM应该把其存⼊记忆时，此时输出门的数值将接近于1；
  4. 所以引入各种门机制（遗忘门 输入门 输出门，细胞状态）的确可以控制当前时间步、以前时间步的信息谁重要谁不重要。从而实现LSTM(长短时记忆网络)

在这里插入图片描述

1.4 LSTM模型API

  • 传参的时候，多传一个参数Ct-1
  • c0初始化的时候与h0一致
  • 传参的时候，c与h组成元组传入
rnn = nn.LSTM(10, 20, 2) # (input_size,hidden_size,num_layers)
input = torch.randn(5, 3, 10) # (seq_len,batch_size,input_size) 
h0 = torch.randn(2, 3, 20) # 初始化h0 (num_layers,batch_size,hidden_size)
c0 = torch.randn(2, 3, 20)
output, (hn, cn) = rnn(input, (h0, c0))

`

import torch
import torch.nn as nn


# 模型的隐藏层个数
def dm01_LSTM():
    # 第1个参数：输入数据尺寸-特征维度
    # 第2个参数：输出数据尺寸 6个特征（可认为是6个神经元）
    # 第3个参数：隐藏层个数（隐藏层个数*方向数-（单向或者双向））
    lstm = nn.LSTM(5, 6, 2)  # A

    # 数据input
    # 第1个参数：单词个数 1
    # 第2个参数：批次数
    # 第3个参数：数据的尺寸-数据的特征维度
    input = torch.randn(1, 3, 5)  # B

    # 数据hidden
    # 第1个参数：模型的隐藏层个数 1
    # 第2个参数：数据的批次数 3
    # 第3个参数：模型的输出神经元的个数-6
    h0 = torch.randn(2, 3, 6)  # C
    c0 = torch.randn(2, 3, 6)

    # 给模型送数据
    # 数据形状 input[1,3,5] h0[2,3,6] --->output[1,3,6],hn[2,3,6] cn[2,3,6]
    output, (hn, cn) = lstm(input, (h0, c0))

    # 打印输出
    print('output-->', output.shape, output)
    print('hn--->', hn.shape, hn)
    print('cn--->', cn.shape, cn)

    # 注1 ： 当隐藏层个数配置成1时  output 和 hn 输出是一样的
    # 注2 ：如果隐藏层配置n个，则output的结果和最后一个隐藏层输出是一样


if __name__ == '__main__':
    dm01_LSTM()
    print('LSTM End')

在这里插入图片描述

1.5 LSTM优缺点

  • LSTM优势

LSTM的门结构能够有效减缓长序列问题中可能出现的梯度消失或爆炸，虽然并不能杜绝这种现象，但在更长的序列问题上表现优于传统RNN

  • LSTM缺点

由于内部结构相对较复杂，因此训练效率在同等算力下较传统RNN低很多

1.6 梯度消失和梯度爆炸优化

根据反向传播算法和链式法则，梯度的计算可以简化为以下公式：
在这里插入图片描述
其中sigmoid导数的值域在[0,0.25]之间，而一旦公式中的权重参数w的值小于1，那么通过这样的公式连乘之后，最终的梯度就会变得非常小，这种现象称为梯度消失。

反之，如果人为的增大w的值，使其大于1，那么连乘就可能会导致梯度过大，称为梯度爆炸。

  • 梯度消失，权重无法更新，最终会导致训练失败
  • 梯度爆炸，大幅度更新网络参数，在极情况下，结果会溢出（NAN值）

经典RNN缺点

  • 在解决长序列之间的关联时，通过时间，证明经典RNN表现很差，原因在于进行反向传播的时候，过长的梯度序列导致梯度的计算异常，发生梯度消失或者爆炸

LSTM模型
在这里插入图片描述

1.7 Bi-LSTM模型

Bi-LSTM即双向LSTM，它没有改变LSTM本身任何的内部结构，只是将LSTM应用两次且方向不同，再将两次得到的LSTM结果进行拼接，作为最终输出
在这里插入图片描述

  • 没有改变LSTM本身任何的内部结构
  • 正向和反向序列都考虑，能够捕捉语法中的一些特定的前置或者后置特征，增强语义关联，但是模型参数和计算复杂度也增加一倍，一般需要对语料和计算资源进行评估后决定是否使用该结构
  • “我爱中国"这句话从左到右和从右到左两次LSTM处理, 将得到的结果张量进行了拼接作为最终输出

2 GRU模型

2.1 GRU模型介绍

GRU（Gated Recurrent Unit）也称门控循环单元结构

  • GRU是传统RNN的变体
  • 同LSTM一样，能够有效捕捉长序列之间的语义关联, 缓解梯度消失或爆炸现象
  • 同时它的结构比LSTM要简单，比RNN要复杂

GRU结构说明

  • 由输入层、隐藏层、输出层组成
  • 同RNN，每个时间步有2个输入：数据端输入，上一个时间步的ht-1
  • 同RNN，每个时间步有2个输出：数据端输出，本时间步的ht
  • GRU结构有2个门：更新门、重置门

在这里插入图片描述

2.2 GRU模型内部结构

  • 重置门

释义：上一个时间步隐藏输出和数据端输入拼接在一起，与权重参W, 进行矩阵运算，再把数据经过sigmoid变换到[0,1]区间，形成重置门

在这里插入图片描述
在这里插入图片描述

2.3 GRU模型API

  • GRU模型API与经典RNN模型的参数类似
import torch
import torch.nn as nn


# 模型的隐藏层个数
def dm01_GRU():
    # 第1个参数：输入数据尺寸-特征维度
    # 第2个参数：输出数据尺寸 6个特征（可认为是6个神经元）
    # 第3个参数：隐藏层个数（隐藏层个数*方向数-（单向或者双向））
    mygru = nn.GRU(5, 6, 2)  # A

    # 数据input
    # 第1个参数：单词个数 1
    # 第2个参数：批次数
    # 第3个参数：数据的尺寸-数据的特征维度
    input = torch.randn(1, 3, 5)  # B

    # 数据hidden
    # 第1个参数：模型的隐藏层个数 1
    # 第2个参数：数据的批次数 3
    # 第3个参数：模型的输出神经元的个数-6
    h0 = torch.randn(2, 3, 6)  # C

    # 给模型送数据 input[1,3,5] h0[2,3,6] -> output[1,3,6],hn[2,3,6] cn[2,3,6]
    output, hn = mygru(input, h0)

    # 打印输出
    print('output-->', output.shape, output)
    print('hn--->', hn.shape, hn)


# 注1 ： 当隐藏层个数配置成1时  output 和 hn 输出是一样的
# 注2 ：如果隐藏层配置n个，则output的结果和最后一个隐藏层输出是一样


if __name__ == '__main__':
    dm01_GRU()
    print('LSTM End')

在这里插入图片描述

2.4 GRU模型的优缺点

  • GRU模型优点

    • GRU和LSTM作用相同, 在捕捉长序列语义关联时, 能有效抑制梯度消失或爆炸, 效果都优于传统RNN
    • 且计算复杂度相比LSTM要小

  • GRU模型缺点

    • GRU仍然不能完全解决梯度消失问题, 同时其作用RNN的变体, 有着RNN结构本身的一大弊端, 即不可并行计算, 这在数据量和模型体量逐步增大的未来, 是RNN发展的关键瓶颈

2.5 Bi-GRU模型

  • 与Bi-LSTM模型类，都是不改变其内部结构，而是将模型应用两次且方向不同，再将两次得到的LSTM结果进行拼接作为最终输出

3 RNN vs LSTM vs GRU 参数数量

在这里插入图片描述

自然语言处理基础知识入门(三) RNN，LSTM，GRU模型详解
WANGYANG的博客
04-14 2603
在上一章节中，深入探讨了Word2vec模型的两种训练策略以及创新的优化方法，从而得到了优质的词嵌入表示。不仅如此，Word2vec作为一种语言模型，也具备根据上下文预测中心词的能力，这是其训练的核心任务，也是模型所能实现的功能。那么，既然已有语言模型，为何还需要引入RNN呢？又或者，RNN具有何种独特性呢？而LSTM和GRU为什么会被视为RNN的变体？本章节将针对这些问题，用深入浅出的语言解读这些模型背后的核心逻辑，以便让读者对整个知识体系存在一个全面的理解。
【NLP5-RNN模型、LSTM模型和GRU模型】
weixin_34280060的博客
03-18 1681
RNN（Recurrent Neural Network)中文称为循环神经网络，它一般以序列数据为输入，通过网络内部的结构设计有效捕捉序列之间的关系特征，一般也是以序列形式进行输出RNN的循环机制使模型隐层上一时间步产生的结果，能够作为当下时间步输入的一部分（当下时间步的输入除了正常的输入外还包括上一步的隐层输出）对当下时间步的输出产生影响根据反向传播算法和链式法则，梯度的计算可以简化为以下公式Dnσz1w1∗σz2w2∗σznwnDn​σz1​w1。
LSTM和GRU
weixin_42717395的博客
04-03 597
Long Short Term 网络，一般就叫做 LSTM ，是一种 RNN 特殊的类型，可以学习长期依赖信息。LSTM 通过刻意的设计来避免长期依赖问题。记住长期的信息在实践中是 LSTM 的默认行为，而非需要付出很大代价才能获得的能力！ 　　所有 RNN 都具有一种重复神经网络模块的链式的形式。在标准的 RNN 中，这个重复的模块只有一个非常简单的结构，例如一个 tanh 层。 ...
GRU与LSTM总结
热门推荐
lreaderl的博客
09-18 12万+
一、LSTM（长短期记忆网络）LSTM是一种特殊的RNN类型，一般的RNN结构如下图所示，是一种将以往学习的结果应用到当前学习的模型，但是这种一般的RNN存在着许多的弊端。举个例子，如果我们要预测“the clouds are in the sky”的最后一个单词，因为只在这一个句子的语境中进行预测，那么将很容易地预测出是这个单词是sky。在这样的场景中，相关的信息和预测的词位置之间的间隔是非常小的
现代循环神经网络（一）——GRU与LSTM
最新发布
2301_78829965的博客
03-29 1376
李沐大神 动手学深度学习 笔记
LSTM与GRU
学习笔记
01-29 338
由于RNN的梯度计算时,总会有一项Whh的k-i次方， 当i越小， 即(越靠前的层)，Whh的k-i次方会越来越大，所以越前的层的梯度越容易出现梯度爆炸现象。 Gradient clipping LSTM(可以解决梯度爆炸问题) RNN原始模型 LSTM结构 可以看到LSTM的梯度计算公式为4项的和，这样可以防止出现次方项使梯度过大，也不会因为某一项的大小影响总体的梯度稳定。 也可以这样看： 当remember gate way 接近于1时，Ct 将约等于Ct-1，memo
GRU与LSTM
lpty的博客
09-23 1万+
一、前言 GRU是LSTM的一种变体，综合来看： 1、两者的性能在很多任务上不分伯仲。 2、GRU 参数相对少更容易收敛，但是在数据集较大的情况下，LSTM性能更好。 3、GRU只有两个门（update和reset），LSTM有三个门（forget，input，output） LSTM还有许多变体，但不管是何种变体，都是对输入和隐层状态做一个线性映射后加非线性激活函数，重点在于额外的门控机制是如何...
门控循环神经网络LSTM与GRU（附python演练）
小白学视觉
07-10 4516
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达编辑 |安可出品 |磐创AI技术团队目录：门控循环神经网络简介长短期记忆网络（LSTM）门控制循环单元（GRU）TensorFlow实现LSTM和GRU参考文献一、 门控循环神经网络门控循环神经网络在简单循环神经网络的基础上对网络的结构做了调整，加入了门控机制，用来控制神经网络中信息的传递。门控机制...
pso-gru-lstm：PSO优化GRU-LSTM超参数
02-19
本文主要讲解：使用PSO优化GRU-LSTM超参数，神经元个数、学习率、dropout和batch_size 主要思路： 建立GRU-LSTM模型 定义PSO的参数：最大迭代次数、最大惯性权重、最小惯性权重、粒子数量、所有粒子的位置和速度、...
ny-stock-price-prediction-rnn-lstm-gru.rar
06-20
标题中的“ny-stock-price-prediction-rnn-lstm-gru.rar”表明这是一个关于纽约股票价格预测的项目，其中使用了循环神经网络（RNN）、长短时记忆网络（LSTM）和门控循环单元（GRU）这三种深度学习模型。在金融领域，...
Recurrent-Neural-Network-with-Pytorch:有几种模型，例如RNN，LSTM，GRU和双向LSTM GRU。 我的一个项目与使用LSTM，GRU等从每日天气温度预测数据获得的时间序列数据有关。
04-13
有几种模型，例如RNN，LSTM，GRU和双向LSTM / GRU。 我的一个项目与使用LSTM，GRU等从每日天气温度预测数据获得的时间序列数据有关。 数据集下载链接 减少上传文件的容量。 这是所需数据集的下载链接：
GRU和LSTM
qq_40887371的博客
04-05 5185
GRU和LSTM LSTM与GRU的存在是为了解决简单RNN面临的长期依赖问题（由于反向传播存在的梯度消失或爆炸问题，简单RNN很难建模长距离的依赖关系），一种比较有效的方案是在RNN基础上引入门控机制来控制信息的传播。 更通俗地说,比如很长一句话,靠后的某个词和靠前的某个词存在某种关联,简单RNN模型很难把这个靠前的这个词的信息传递到后面 GRU门控循环单元 他能够让你可以在序列中学习非常深的连接 GRU相当于LSTM的简化版 基本原理 引入两个信息控制门 Γu=σ(ωu[c⟨t−1⟩,
LSTM模型
weixin_46556352的博客
04-26 690
LSTM模型
LSTM和GRU介绍
qq_34438672的博客
10-25 513
转载：：：：https://blog.youkuaiyun.com/hjimce/article/details/51234311
ARIMA SARIMA VAR Auto-ARIMA Auto-SARIMA LSTM GRU RNN CNN MLP DNN MLP-LSTM MLP-GRU MLP-RNN MLP-CNN LSTM-ARIMA LSTM-MLP LSTM-CNN GRU-ARIMA GRU-MLP GRU-CNN RNN-ARIMA RNN-MLP RNN-CNN CNN-ARIMA CNN-MLP CNN-LSTM CNN-GRU ARIMA-SVM SARIMA-SVM VAR-SVM Auto-ARIMA-SVM Auto-SARIMA-SVM LSTM-SVM GRU-SVM RNN-SVM CNN-SVM MLP-SVM LSTM-ARIMA-SVM LSTM-MLP-SVM LSTM-CNN-SVM GRU-ARIMA-SVM GRU-MLP-SVM GRU-CNN-SVM RNN-ARIMA-SVM RNN-MLP-SVM RNN-CNN-SVM CNN-ARIMA-SVM CNN-MLP-SVM CNN-LSTM-SVM CNN-GRU-SVM ARIMA-RF SARIMA-RF VAR-RF Auto-ARIMA-RF Auto-SARIMA-RF LSTM-RF GRU-RF RNN-RF CNN-RF MLP-RF LSTM-ARIMA-RF LSTM-MLP-RF LSTM-CNN-RF GRU-ARIMA-RF GRU-MLP-RF GRU-CNN-RF RNN-ARIMA-RF RNN-MLP-RF RNN-CNN-RF CNN-ARIMA-RF CNN-MLP-RF CNN-LSTM-RF CNN-GRU-RF ARIMA-XGBoost SARIMA-XGBoost VAR-XGBoost Auto-ARIMA-XGBoost Auto-SARIMA-XGBoost LSTM-XGBoost GRU-XGBoost RNN-XGBoost CNN-XGBoost MLP-XGBoost LSTM-ARIMA-XGBoost LSTM-MLP-XGBoost LSTM-CNN-XGBoost GRU-ARIMA-XGBoost GRU-MLP-XGBoost GRU-CNN-XGBoost RNN-ARIMA-XGBoost RNN-MLP-XGBoost RNN-CNN-XGBoost CNN-ARIMA-XGBoost CNN-MLP-XGBoost CNN-LSTM-XGBoost CNN-GRU-XGBoost ARIMA-ANN SARIMA-ANN VAR-ANN 上面这100个缩写模型的全称及相关用途功能详细解释
07-15
8. RNN (Recurrent Neural Network): 适用于处理序列数据的神经网络模型，能够捕捉时间序列的动态特性。 9. CNN (Convolutional Neural Network): 卷积神经网络，主要用于图像处理，但也可以用于时间序列数据的预测...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值