人人都能看懂的GRU

最新推荐文章于 2025-03-11 17:47:08 发布
最新推荐文章于 2025-03-11 17:47:08 发布
阅读量1.1k 收藏 22
点赞数 23
分类专栏： 开发板测评 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_47569031/article/details/143105940
版权

在这里插入图片描述

接续上一次介绍的LSTM ，这里我又很不要脸地使用“人人都能看懂的xxx”来作为标题，来将对GRU进行介绍。同样这里的内容是对台大李宏毅老师课程视频的一些记录以及自己的一些整理和思考。对于不懂基础RNN和LSTM的同学可以先看看我的上一篇文章 人人都能看懂的LSTM。有任何疑问欢迎交流。

1. 什么是GRU

GRU（Gate Recurrent Unit）是循环神经网络（Recurrent Neural Network, RNN）的一种。和LSTM（Long-Short Term Memory）一样，也是为了解决长期记忆和反向传播中的梯度等问题而提出来的。

GRU和LSTM在很多情况下实际表现上相差无几，那么为什么我们要使用新人GRU（2014年提出）而不是相对经受了更多考验的LSTM（1997提出）呢。

下图1-1引用论文中的一段话来说明GRU的优势所在。

在这里插入图片描述

简单译文：我们在我们的实验中选择GRU是因为它的实验效果与LSTM相似，但是更易于计算。

简单来说就是贫穷限制了我们的计算能力…

相比LSTM，使用GRU能够达到相当的效果，并且相比之下更容易进行训练，能够很大程度上提高训练效率，因此很多时候会更倾向于使用GRU。

OK，那么为什么说GRU更容易进行训练呢，下面开始介绍一下GRU的内部结构。

2. GRU浅析

2.1 GRU的输入输出结构

GRU的输入输出结构与普通的RNN是一样的。

在这里插入图片描述
在这里插入图片描述

那么，GRU到底有什么特别之处呢？下面来对它的内部结构进行分析！

2.2 GRU的内部结构

在这里插入图片描述

Tips：为sigmoid函数，通过这个函数可以将数据变换为0-1范围内的数值，从而来充当门控信号。

在这里插入图片描述

与LSTM分明的层次结构不同，下面将对GRU进行一气呵成的介绍~~~ 请大家屏住呼吸，不要眨眼。

在这里插入图片描述
在这里插入图片描述

图2-4中的是Hadamard Product，也就是操作矩阵中对应的元素相乘，因此要求两个相乘矩阵是同型的。则代表进行矩阵加法操作。

最后介绍GRU最关键的一个步骤，我们可以称之为”更新记忆“阶段。

在这个阶段，我们同时进行了遗忘了记忆两个步骤。我们使用了先前得到的更新门控（update gate）。

在这里插入图片描述

3. LSTM与GRU的关系

GRU是在2014年提出来的，而LSTM是1997年。他们的提出都是为了解决相似的问题，那么GRU难免会参考LSTM的内部结构。那么他们之间的关系大概是怎么样的呢？这里简单介绍一下。

大家看到 (reset gate)实际上与他的名字有点不符。我们仅仅使用它来获得了。

那么这里的 实际上可以看成对应于LSTM中的hidden state；上一个节点传下来的 则对应于LSTM中的cell state。1-z对应的则是LSTM中的 forget gate，那么 z我们似乎就可以看成是选择门 了。大家可以结合我的两篇文章来进行观察，这是非常有趣的。

4. 总结

GRU输入输出的结构与普通的RNN相似，其中的内部思想与LSTM相似。

与LSTM相比，GRU内部少了一个”门控“，参数比LSTM少，但是却也能够达到与LSTM相当的功能。考虑到硬件的计算能力和时间成本，因而很多时候我们也就会选择更加”实用“的GRU啦。

作者：陈诚
文章来源：知乎

推荐阅读

更多芯擎AI开发板干货请关注芯擎AI开发板专栏。欢迎添加极术小姐姐微信（id:aijishu20)加入技术交流群，请备注研究方向。

python自然语言处理—GRU神经网络
weixin_38477351的博客
09-23 4985
GRU神经网络 一、GRU概述 GRU是 LSTM神经网络的一种效果很好的变体，GRU保持了 LSTM的效果同时又使得结构更加简单计算量更小，它较 LSTM网络的结构更加简单，而且效果也更好，因此也是当前非常流行的一种神经网络。GRU既然是 LSTM的变体，因此也是可以解决 RNN神经网络中的长依赖问题的。 GRU把 LST...
lstm结构图_人人都能看懂的LSTM介绍及反向传播算法推导（非常详细）
weixin_39538877的博客
11-20 6530
1.长短期记忆网络LSTMLSTM(Long short-term memory)通过刻意的设计来避免长期依赖问题，是一种特殊的RNN。长时间记住信息实际上是 LSTM 的默认行为，而不是需要努力学习的东西！所有递归神经网络都具有神经网络的链式重复模块。在标准的RNN中，这个重复模块具有非常简单的结构，例如只有单个tanh层，如下图所示。图1 RNN结构图LSTM具有同样的结构，但是重复的模块拥有...
GRU讲解
m0_51897038的博客
11-04 219
人人都能看懂的GRU - 知乎接续上一次介绍的LSTM ，这里我又很不要脸地使用“人人都能看懂的xxx”来作为标题，来将对GRU进行介绍。同样这里的内容是对台大李宏毅老师课程视频的一些记录以及自己的一些整理和思考。对于不懂基础RNN和LSTM的同…https://zhuanlan.zhihu.com/p/32481747 ...
GRU概述
weixin_43971116的博客
04-02 2874
来源：https://zhuanlan.zhihu.com/p/32481747 GRU GRU（Gate Recurrent Unit）是循环神经网络（Recurrent Neural Network, RNN）的一种。和LSTM（Long-Short Term Memory）一样，也是为了解决长期记忆和反向传播中的梯度等问题而提出来的。 GRU与LSTM在实际表现上相差无几，但是由于GR...
LSTM和GRU
qq_39951635的博客
03-05 194
详文见知乎 小白记录贴~(侵删,感恩) RNN LSTM LSTM在RNN的基础上引入了门控机制：遗忘、输入和输出 LSTM能保持长期记忆的原因： 两个通道在保持记忆：短期记忆h，保持非线性操作；长期记忆C，保持线性操作。因为线性操作是比较稳定的，所以C的变化相对稳定，保持了长期记忆。而对有用信息的长期记忆是通过训练获得的，也就是说在内部的几个权值矩阵中。 GRU GRU是LSTM的变体，门控变为update（大佬们都说是将forget和input gate耦合成upda
GRU 的总结
u011412768的博客
08-19 1万+
书接LSTM的介绍（LSTM的总结），这一节来介绍GRU。GRU（Gate Recurrent Unit）是循环神经网络（Recurrent Neural Network, RNN）的一种。和LSTM（Long-Short Term Memory）一样，也是为了解决长期记忆和反向传播中的梯度等问题而提出来的。 从LSTM的介绍可以知道，一个时间 t 要计算的很多，三个门/权重向量 z，完了还要计算两种信息：全局的和局部的，计算量非常大。基于此，诞生了GRU，它跟LSTM有相当的...
LSTM神经网络和GRU
小朱小朱绝不认输的博客
01-11 2751
说到LSTM，无可避免的首先要提到最简单最原始的RNN。 在循环神经网络（RNN）中学习了RNN的原理和模型结构，这里再简单回顾一下，引出LSTM模型。 一、RNN 循环神经网络（Recurrent Neural Network，RNN）是一种用于处理序列数据的神经网络。相比一般的神经网络来说，他能够处理序列变化的数据。比如某个单词的意思会因为上文提到的内容不同而有不同的含义，RNN就能够很好地解决这类问题。 二、LSTM神经网络 长短时记忆网络(Long Short Term Memory Networ
pytorch学习笔记之GRU
小卜妞的博客
11-17 2448
""" gru模型定义：第一维表示input特征数，第二维表示隐层特征数，也是输出特征数，第三维表示gru单元个数 要求input维度是3维，第一维表示样本数，第二维表示batch数，第三维表示input特征数； h维度，第一维同gru单元个数，第二维表示batch数，第三维表示隐层特征数 """ import torch.nn as nn import torch rnn = nn.GRUCell(10, 1) input = torch.randn(6, 3, 10) hx = torch.randn
史上最小白之LSTM 与 GRU详解
Tink1995的博客
03-18 1万+
1.前言 上一篇介绍了循环神经网络 RNN，正好今天周日在家闲着也是闲着，就干脆趁热打铁，把LSTM和GRU也介绍一下吧。不太清楚RNN原理的同学可以参考我上一篇博客：史上最小白值RNN详解 2.LSTM （Long short-term memory） 2.1为什么需要LSTM Long short-term memory，也就是长短期记忆，那么从字面意思来理解LSTM就是一种不仅具有短期记忆而...
温故而知新（一）—— 再看RNN、LSTM、GRU
竹杖芒鞋轻胜马
10-16 539
子曰：“温故而知新，可以为师矣。” --《论语 为政》 老祖宗的话真香啊。今天复习以前学习的知识点的时候，看到LSTM，也算是一个八股文高频考点了，于是把自己以前写的旧文干货！RNN、LSTM、GRU学习笔记拿出来看了一下，发现还是不够透彻，文章中对一些关键状态的含义，以及为什么要这么做没有解析的很透彻，这样导致学习完容易忘，今天看完又深入看了一下，又有了一些新的理解，忍不住要写出来，相当于打了一剂加强针，果然是温故而知新啊！真香！ 干货！RNN、LSTM、GRU学习笔记中基本已经把大部分的公式.
GRU神经网络-介绍
weixin_43910988的博客
11-25 1万+
之前面的博客中，我们已经描述了基本的RNN模型。但是基本的RNN模型有一些缺点难以克服。其中梯度消失问题（Vanishing Gradients）最难以解决。为了解决这个问题，GRU（Gated Recurrent Unit）神经网络应运而生。本篇博客将描述GRU神经网络的工作原理。GRU主要思想来自下面两篇论文： Cho et al., 2014. On the Properties of Neural Machine Translation: Encoder-Decoder ApproachesChu
GRU门控循环单元
最新发布
Cufewxy的博客
03-11 889
GRU（Gated Recurrent Unit）是RNN的一个变体，在2014年被提出。与LSTM类似，同样是为了解决RNN处理长序列时梯度爆炸或梯度消失的问题。与LSTM相比，GRU的结构更简单，参数更少，效果却与LSTM持平。
深度学习之门控循环单元(GRU)
weixin_72776924的博客
01-03 580
GRU与普通的循环神经网络之间的关键区别在于： 前者支持隐状态的门控。这意味着模型有专门的机制来确定应该何时更新隐状态， 以及应该何时重置隐状态。GRU能够在较长的时间跨度内保持信息，并有效捕捉长期依赖关系。GRU引入了门控机制（如更新门和重置门），这些机制帮助网络选择性地保留或者遗忘信息，使得梯度能够在长序列中保持稳定，从而解决了梯度消失和梯度爆炸问题。GRU是一种具有门控机制的循环神经网络结构，能够有效地捕捉序列数据中的长期依赖关系。它通过重置门和更新门的配合，使得网络能够决定何时记忆和何时遗忘信息。
深度学习——循环神经网络GRU公式推导
hei653779919的博客
02-06 5483
深度学习——循环神经网络GRU公式推导 0、注意 在整篇的文章中，无论是输入的X向量，还是隐藏层得到的S向量，这些都是列向量 1、从RNN到GRU 在之前的文章中，我们具体推导了循环神经网络RNN的前向和反向传播过程，具体细节可以参考深度学习——循环神经网络RNN公式推导这篇文章。下面，我们开始介绍RNN的一个变形结构GRU神经网络。 我们首先简单的回顾一下RNN神经网络的结构，以及一个RNN隐藏...
理解LSTM和GRU
每天进步一点
05-11 4039
LSTM GRU
GRU门控循环单元【数学+图解】
逐梦苍穹的博客
08-06 1514
GRU门控循环单元【数学+图解】
深度学习实战——循环神经网络（RNN、LSTM、GRU）
转载请标明出处，完整项目/代码详见github：https://github.com/yiru1225
04-23 9548
本篇博客主要介绍几种循环神经网络的原理，并进行了代码实践与优化（内含代码与数据集）。
深度学习中的循环神经网络GRU详解
sinat_36618660的博客
09-13 1万+
(一)、什么是循环神经网络GRU？ GRU指的是门控循环单元（Gated Recurrent Units ），它是循环神经网络中的一种门控机制，是由Kyunghyun Cho等人于2014年引入的，它与具有遗忘门的长短期记忆网络（LSTM）相类似。 (二)、GRU实现记忆的原理是什么？ 参考：深度学习中的循环神经网络LSTM详解 2.1 GRU网络原理图 (三)、GRU的原理公式是什么？ 经典的...
知乎--LSTM（挺全的）
热门推荐
战斗蜗牛的专栏
05-12 7万+
首页发现话题 登录 加入知乎 有哪些LSTM(Long Short Term Memory)和RNN(Recurrent)网络的教程？ 关注问题写回答 互联网 机器学习 深度学习（Deep
GRU
03-08
### GRU（门控循环单元）在深度学习中的应用和实现 #### 应用场景 GRU作为一种简化版本的长短期记忆网络(LSTM)，因其高效的性能和较低的计算成本，在多个领域得到了广泛应用。尤其擅长处理序列数据的任务，如自然语言处理(NLP)、语音识别、时间序列预测等[^1]。 - **自然语言处理**：用于机器翻译、情感分析、文本生成等领域； - **语音识别**：能够有效捕捉音频信号的时间特性； - **时间序列预测**：适用于股票市场走势预估、天气预报等多种连续型数据分析； #### 实现方式 下面给出一段Python代码示例，展示了如何利用PyTorch库构建一个简单的基于GRU的语言模型： ```python import torch.nn as nn class SimpleGRULanguageModel(nn.Module): def __init__(self, vocab_size, embed_size, hidden_size, num_layers=2): super(SimpleGRULanguageModel, self).__init__() # 定义嵌入层 self.embedding = nn.Embedding(vocab_size, embed_size) # 构建多层GRU self.gru = nn.GRU(embed_size, hidden_size, num_layers=num_layers, batch_first=True) # 输出线性变换 self.fc_out = nn.Linear(hidden_size, vocab_size) def forward(self, x, h=None): embedded = self.embedding(x) output, hn = self.gru(embedded, h) out_vocab_dist = self.fc_out(output.reshape(-1,output.shape[-1])) return out_vocab_dist.view(*output.size()[:-1], -1),hn ``` 此段代码定义了一个两层的GRU网络架构，并实现了前向传播过程。其中`vocab_size`表示词汇表大小，`embed_size`代表词向量维度，而`hidden_size`则是隐含状态的宽度。该模型接收一批次的数据作为输入(`x`)，并通过调用`.forward()`方法完成一次完整的正向运算流程[^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值