GRU及双向RNN介绍

最新推荐文章于 2025-03-29 16:46:21 发布
最新推荐文章于 2025-03-29 16:46:21 发布
阅读量1.5w 收藏 54
点赞数 7
分类专栏： AI
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/boke14122621/article/details/104331617
版权
本文介绍了GRU（门控循环单元）及其简化LSTM的方式，以及如何通过重置门和更新门处理时间序列中的短期和长期依赖。此外，还讨论了双向循环神经网络，它能提供更丰富的上下文信息，通过前向和后向RNN捕捉序列的未来和过去信息。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

GRU
假设我们已经熟知循环神经网络（RNN）及长短时间记忆网络（LSTM）。相比于简单的RNN，LSTM增加了记忆单元（memory cell）、输入门（input gate）、遗忘门（forget gate）及输出门（output gate），这些门及记忆单元组合起来大大提升了RNN处理远距离依赖问题的能力。
RNN:

Image Name

H t = ϕ ( X t W x h + H t − 1 W h h + b h ) H_{t} = ϕ(X_{t}W_{xh} + H_{t-1}W_{hh} + b_{h}) Ht​=ϕ(Xt​Wxh​+Ht−1​Whh​+bh​)

长短期记忆long short-term memory

遗忘门:控制上一时间步的记忆细胞
输入门:控制当前时间步的输入
输出门:控制从记忆细胞到隐藏状态
记忆细胞：⼀种特殊的隐藏状态的信息的流动

Image Name

I t = σ ( X t W x i + H t − 1 W h i + b i ) F t = σ ( X t W x f + H t − 1 W h f + b f ) O t = σ ( X t W x o + H t − 1 W h o + b o ) C ~ t = t a n h ( X t W x c + H t − 1 W h c + b c ) C t = F t ⊙ C t − 1 + I t ⊙ C ~ t H t = O t ⊙ t a n h ( C t ) I_t = σ(X_tW_{xi} + H_{t−1}W_{hi} + b_i) \\ F_t = σ(X_tW_{xf} + H_{t−1}W_{hf} + b_f)\\ O_t = σ(X_tW_{xo} + H_{t−1}W_{ho} + b_o)\\ \widetilde{C}_t = tanh(X_tW_{xc} + H_{t−1}W_{hc} + b_c)\\ C_t = F_t ⊙C_{t−1} + I_t ⊙\widetilde{C}_t\\ H_t = O_t⊙tanh(C_t) It​=σ(X

最低0.47元/天 解锁文章
双向GRU时间序列预测：使用PyTorch构建双向GRU的时间序列预测
CqpFsharp的博客
09-23 768
通过以上步骤，我们成功构建了一个使用PyTorch实现的双向GRU模型，并展示了如何使用该模型进行时间序列的预测。假设我们有一个包含多个时间步的时间序列数据，我们将使用前面的时间步作为输入特征，下一个时间步作为目标标签，以此类推。在前向传播方法中，我们将输入数据传递给GRU层，并将最后一个时间步的隐藏状态通过全连接层进行预测。然后，我们定义了一个未来时间步的输入数据，并使用训练好的模型进行预测。在模型训练完成后，我们将模型切换为评估模式，并使用测试数据计算模型在测试集上的损失。的函数来生成示例数据。
GRU实战双向
weixin_43444314的博客
05-10 562
import torch import torch.nn as nn import torch.optim as optim import csv from torch.utils.data import Dataset from torch.utils.data import DataLoader import numpy as np import matplotlib.pyplot as plt import time from torch.nn.utils.rnn import pack_padded
深度学习笔记——pytorch实现双向GRU（BiGRU）
weixin_45978839的博客
01-09 4219
参考视频。
现代循环神经网络（一）——GRU与LSTM
最新发布
2301_78829965的博客
03-29 1240
李沐大神 动手学深度学习 笔记
【NLP】文本分类算法-基于字符级的无词嵌入双向循环神经网络（双向 GRU）
fengdu78的博客
07-24 1923
大家好，我是小伍哥，文本数据的处理，对于一个风控策略或者算法，我觉得是必须要掌握的技能，有人说，我的风控并不涉及到文本？我觉得这片面了，在非内容风控领域，文本知识也是非常有用的。用户昵称、地址啥的，这种绝大部分风控场景都能遇到；关系网络的节点向量化，基本也是文本处理的思路；行为序列，也能用文本的知识去处理，能捕捉非常有趣模式。在这里开个系：20大风控文本分类算法，去年就已...
Seq2seq进阶，双向GRU
landing_guy_的博客
10-18 9956
文章目录主要使用attentionEncoderAttention 一般编码器中得到的向量包含所有的上下文信息， 是高度压缩的信息， 怎么样来避免这种压缩呢？ 这是原来的seq2seq， 当然有些小的改进在此不做介绍了。 主要使用attention attention 向量a， 长度是源向量的长度， ai在0~1之间， 总和为1， 可以得到加权后的向量w 在解码的每个时间步计算一个加权向量， 把它作为解码器和线性层的输入来进行预测 Encoder 使用双向GRU构建编码器 此时output的大
基于双向 GRU 的文本分类 Python 算法实战
Python学习与数据挖掘
09-11 2361
去年就已经写的差不多了，现在整理好慢慢更新，本系列主要介绍了风控场景下文本分类的基本方法，对抗文本变异，包括传统的词袋模型、循环神经网络，也有常用于计算机视觉任务的卷积神经网络，以及 RNN + CNN，试验完一遍，基本能搞定大部分的文本分类以及文本变异对抗问题。先写到这里了，大家可以看到，深度学习，对于解决语言问题，还是很有优势的，就这么简简单单的一段代码，准确率有了非常大的提升，后面的文章，我们继续深入研究各种风控识别算法。，可以看到深度学习还是非常勇猛的，在序列领域，RNN有着不可取代的地位。
深度学习笔记——RNN（LSTM、GRU、双向RNN）学习总结
热门推荐
mpk_no1的博客
07-23 7万+
本文是关于RNN和RNN的变种LSTM、GRU以及BiRN的学习总结。
自然语言处理 - 梯度消失和RNN变种 (LSTM, GRU, 双向RNN, 多层RNN)
weixin_41332009的博客
02-26 805
本文翻译和精简自 Stanford cs224n lec 07. 1. 梯度消失和梯度爆炸 1.1 梯度消失 1.1.1 梯度消失的产生原因 以最简单的网络结构为例，假如有三个隐藏层，每层的神经元个数都是1，且对应的非线性函数为 yi=σ(zi)=σ(wixi+bi)y_i=\sigma (z_i) = \sigma(w_ix_i+b_i)yi​=σ(zi​)=σ(wi​xi​+bi​), 如下图： ​​ 引起梯度消失的“罪魁祸首”其实就是激活函数sigmoid: σ(x)=11+e−x\sigma(x)=
深度学习学习笔记——RNN（LSTM、GRU、双向RNN）
weixin_43870329的博客
07-05 1397
前置知识 深度学习是什么 深度学习是机器学习的一个分支 由全连接网络、卷积神经网络和循环神经网络构成的结构 多层全连接网络：多层感知器 多层卷积神经网络 卷积神经网络基本结构 数据： 2D输入数据形式：[批尺寸（batchsize），高度（H），宽度(W)，通道数(特征数)(channel)]，[B, H, W, C] 2D卷积核心格式：[(卷积核心大小1，卷积核心大小2)，输入通道数(特征），输出通道数（特征）] 1D输入数据形式：[B, T, C] 1D卷积核心格式：[K, C, C2] 2
双向RNN和双向LSTM
qq_74722169的博客
05-15 1661
双向RNN，即可以从过去的时间点获取记忆，又可以从未来的时间点获取信息：传统的单向 RNN 只能利用先前的上下文信息，而 BiRNN 同时利用了输入序列的前后文信息。在很多任务中，如自然语言处理中的命名实体识别、机器翻译等，理解一个词的前后文语境至关重要。例如：判断句子中Teddy是否是人名，如果只从前面两个词是无法得知Teddy是否是人名，如果能有后面的信息就很好判断了，这就需要用的双向循环神经网络。：在处理某些序列数据时，单向 RNN 可能无法充分捕捉整个序列中的重要信息，导致性能欠佳。
中文自然语言处理--基于双向GRU 生成各种古诗
糯米君的博客
03-27 977
使用 LSTM 的变形 GRU 中文字符级建模，训练出一个能作诗的模型 数据集集为4000+古诗，一行一首，标题、作者已去掉： https://download.youkuaiyun.com/download/fgg1234567890/16153813 import os import random import pandas as pd import numpy as np # 引入需要的模块 from keras.layers import Bidirectional from keras.layers impo
循环神经网络：RNN、GRU、LSTM、深度循环神经网络、双向循环神经网络、seq2seq
weixin_52435934的博客
07-31 2514
LSTM 可以学习只保留相关信息来进行预测，并忘记不相关的数据。简单说，因记忆能力有限，记住重要的，忘记无关紧要的。LSTM通过刻意的设计来避免长期依赖问题。记住长期的信息在实践中是LSTM的默认行为，而非需要付出很大代价才能获得的能力！所有RNN都具有一种重复神经网络模块的链式的形式。在标准的RNN中，这个重复的模块只有一个非常简单的结构，例如一个tanh层。激活函数 Tanh 作用在于帮助调节流经网络的值，使得数值始终限制在 -1 和 1 之间。
基于双向门控循环单元GRU实现数据多维输入单输出预测算法研究附matlab代码 可直接运行 替换数据即可用 注释详细适合
matlab_dingdang的博客
10-06 455
在当今信息时代，数据的重要性越来越凸显。无论是企业还是个人，都希望能够利用数据来做出准确的预测和决策。因此，预测算法的研究变得尤为重要。在本文中，我们将探讨基于双向门控循环单元（Gated Recurrent Unit，简称GRU）的数据多维输入单输出预测算法。GRU是一种循环神经网络（Recurrent Neural Network，简称RNN）的变体，它通过引入门控机制来解决传统RNN存在的梯度消失和梯度爆炸问题。GRU具有简单的结构和较强的建模能力，因此在许多领域都得到了广泛的应用。
可视化两条线之间的异常附matlab代码
qq_59747472的博客
09-14 168
​。
GRU及双向RNN介绍_双向gru
2401_87555402的博客
10-25 236
假设我们已经熟知循环神经网络（RNN）及长短时间记忆网络（LSTM）。相比于简单的RNN，LSTM增加了记忆单元（memory cell）、输入门（input gate）、遗忘门（forget gate）及输出门（output gate），这些门及记忆单元组合起来大大提升了RNN处理远距离依赖问题的能力。
【机器学习】门控循环单元(GRU)
weixin_42301220的博客
04-21 4582
文章目录1. GRU2. ⻔控循环单元2.1 重置门和更新门2.2 候选隐藏状态2.3 隐藏状态 1. GRU 在循环神经⽹络中的梯度计算⽅法中，我们发现，当时间步数较⼤或者时间步较小时，循环神经⽹络的梯度较容易出现衰减或爆炸。虽然裁剪梯度可以应对梯度爆炸，但⽆法解决梯度衰减的问题。通常由于这个原因，循环神经⽹络在实际中较难捕捉时间序列中时间步距离较⼤的依赖关系。 **门控循环神经⽹络（gated recurrent neural network）的提出，正是为了更好地捕捉时间序列中时间步距离较⼤的依赖关系
序列模型简介：RNN, 双向RNN, LSTM, GRU，有图有真相
AI公园
01-16 2957
点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”作者：Rohith Gandhi编译：ronghuaiyang导读既然我们已经有了前馈网络和CNN，为什么还需要...
双向GRU做分类
weixin_43444314的博客
04-03 5199
因为最后的输出是一个前向和一个后向，所以应该连接起来共同作为分类的向量
RNN，GRU,LSTM，双向RNN，Transformer
03-18
### 不同神经网络模型的概念及应用场景 #### 循环神经网络 (RNN) 循环神经网络是一种用于处理序列数据的神经网络结构。它通过在网络中引入循环连接来捕捉输入数据中的时间依赖关系。然而，标准 RNN 存在梯度消失和梯度爆炸的问题，在长时间序列上表现不佳[^1]。 ```python import torch.nn as nn rnn = nn.RNN(input_size=10, hidden_size=20, num_layers=2) input = torch.randn(5, 3, 10) # 序列长度为5，批量大小为3，特征维度为10 h0 = torch.zeros(2, 3, 20) # 初始隐藏状态 output, hn = rnn(input, h0) ``` #### 长短时记忆网络 (LSTM) 为了克服传统 RNN 的缺陷，Hochreiter 和 Schmidhuber 提出了 LSTM 结构。LSTM 使用特殊的门机制（遗忘门、输入门和输出门）以及细胞状态来控制信息流，从而有效缓解了长期依赖问题[^2]。 ```python lstm = nn.LSTM(input_size=10, hidden_size=20, num_layers=2) input = torch.randn(5, 3, 10) h0 = torch.zeros(2, 3, 20) c0 = torch.zeros(2, 3, 20) # 初始细胞状态 output, (hn, cn) = lstm(input, (h0, c0)) ``` #### 门控循环单元 (GRU) GRU 是一种简化版的 LSTM，去掉了单独的细胞状态并融合了遗忘门和输入门的功能。这种设计减少了计算复杂度，同时保留了捕获长期依赖的能力[^3]。 ```python gru = nn.GRU(input_size=10, hidden_size=20, num_layers=2) input = torch.randn(5, 3, 10) h0 = torch.zeros(2, 3, 20) output, hn = gru(input, h0) ``` #### 双向 RNN 双向 RNN 同时考虑过去和未来的上下文信息。具体来说，它由两个独立的 RNN 组成——一个按正常顺序处理序列，另一个则逆序处理。最终的结果通常是这两个方向上的隐层表示拼接而成。 ```python birnn = nn.RNN(input_size=10, hidden_size=20, num_layers=2, bidirectional=True) input = torch.randn(5, 3, 10) h0 = torch.zeros(4, 3, 20) # 因为是双向，所以层数乘以2 output, hn = birnn(input, h0) ``` #### Transformer Transformer 完全摒弃了传统的循环结构，转而采用自注意力机制来自适应地加权不同位置的信息。这种方法不仅提高了并行化程度，还显著增强了模型对于全局上下文的理解能力。 ```python transformer_model = nn.Transformer(nhead=8, num_encoder_layers=6, num_decoder_layers=6) src = torch.rand((10, 32, 512)) # 源序列形状：(S,N,E)，其中 S 是源序列长度，N 是批次大小，E 是嵌入维数 tgt = torch.rand((20, 32, 512)) # 目标序列形状：(T,N,E)，其中 T 是目标序列长度 out = transformer_model(src, tgt) ``` ### 总结比较 | 特性 | RNN | GRU | LSTM | 双向 RNN | Transformer | |--------------|-------------|---------------|-----------------|----------------|------------| | 参数数量 | 较少 | 中等 | 更多 | 增加倍增效果 | 显著更多 | | 计算效率 | 高 | 较高 | 较低 | 减半速度提升 | 并行优势大 | | 上下文理解 | 局限于单向 | 改善但仍有限 | 大幅增强 | 考虑前后关联 | 全局最优 | ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值