【动手学习pytorch笔记】24.门控循环单元GRU

最新推荐文章于 2024-05-07 21:02:09 发布
原创 最新推荐文章于 2024-05-07 21:02:09 发布 · 1.2k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch #深度学习 #rnn #学习 #gru

本文介绍了门控循环单元（GRU）的工作原理，作为长短期记忆网络（LSTM）的简化版，GRU通过重置门和更新门控制信息流，以选择性地记住和遗忘序列中的信息。GRU包含两个门控机制，用于学习序列中的重要特征，同时减少计算复杂性。代码示例展示了如何在PyTorch中实现GRU，并进行训练。训练结果显示，GRU在理解和实现上相对简单，且在速度上有优势。

GRU

序列中并不是所有信息都同等重要，为了记住重要的信息和遗忘不重要的信息，最早的方法是”长短期记忆”（long-short-term memory，LSTM），这节门控循环单元（gated recurrent unit，GRU）是一个稍微简化的变体，通常能够提供同等的效果， 并且计算的速度明显更快。

理论

两个门（和隐藏状态类似）

重置门（虫豸们~）

​ Rt=σ(XtWxr+Ht−1Whr+br)R_t = \sigma(X_tW_{xr}+H_{t-1}W_{hr}+b_r)Rt​=σ(Xt​Wxr​+Ht−1​Whr​+br​)

更新门

​ Zt=σ(XtWxz+Ht−1Whz+bz)Z_t = \sigma(X_tW_{xz}+H_{t-1}W_{hz}+b_z)Zt​=σ(Xt​Wxz

最低0.47元/天 解锁文章
从零开始理解GRU：深度学习中的门控循环单元
AI架构师小马
06-07 1465
本文旨在为对深度学习有基础了解（熟悉神经网络、RNN）但未接触过GRU的读者，提供一份“从问题到解决方案”的完整学习指南。内容覆盖GRU的设计动机、核心原理、数学模型、代码实现及实际应用，不涉及过于复杂的数学推导，但会确保关键细节清晰易懂。用“记日记”的故事引出RNN的缺陷用“保鲜门”比喻解释GRU的门控机制用数学公式和流程图拆解GRU的计算步骤用PyTorch实现一个简单的GRU文本分类模型列举GRU在自然语言处理、时间序列预测中的实际应用。
使用Pytorch从零开始构建GRU
GarryWang1248的博客
11-24 4463
门控循环单元（GRU），顾名思义，是RNN 架构的一种变体，它使用门控机制来控制和管理神经网络中单元之间的信息流。Cho 等人于 2014 年才引入 GRU。可以被认为是一种相对较新的架构，特别是与Sepp Hochreiter 和 Jürgen Schmidhuber于 1997 年提出的广泛采用的 LSTM 相比。GRU 的结构使其能够自适应地捕获大型数据序列的依赖性，而不会丢弃序列早期部分的信息。这是通过其门控单元实现的，类似于 LSTM 中的门控单元，它解决了传统 RNN 的梯度消失/爆炸问题。
详解pytorch中循环神经网络（RNN、LSTM、GRU）的维度
最新发布
NosONE
05-07 2468
首先如果你对不太熟悉，可点击查看。
Temporal Fusion Transformer (TFT) 各模块功能和代码解析(pytorch)
小哨的博客
03-03 7784
Temporal Fusion Transformer (TFT) 各模块功能和代码解析(pytorch)
《动手学深度学习 Pytorch版》 9.1 门控循环单元（GRU）
AncilunKiang的博客
10-18 911
def init_gru_state(batch_size, num_hiddens, device): # 隐状态初始化H, = state # 优雅，逗号解包Z = torch.sigmoid((X @ W_xz) + (H @ W_hz) + b_z) # 更新门运算 @符号做哈达玛积R = torch.sigmoid((X @ W_xr) + (H @ W_hr) + b_r) # 重置门运算。
pytorch如何实现门控机制？
Mr_wuliboy的博客
11-29 2973
#设置前置网络及 可学习参数 self.cnn=cnn_output4() self.fuse_weight_1 = torch.nn.Parameter(torch.FloatTensor(1), requires_grad=True) self.fuse_weight_2 = torch.nn.Parameter(torch.FloatTensor(1), requires_grad=Tru...
pytorch学习笔记（三十一）：门控循环单元（GRU）
逐梦er的博客
08-08 5362
文章目录前言1. 门控循环单元1.1 重置门和更新门1.2 候选隐藏状态1.3 隐藏状态2. 读取数据集3. 从零开始实现3.1 初始化模型参数3.2 定义模型3.3 训练模型并创作歌词4. 简洁实现小结 前言 当时间步数较大或者时间步较小时，循环神经网络的梯度较容易出现衰减或爆炸。虽然裁剪梯度可以应对梯度爆炸，但无法解决梯度衰减的问题。通常由于这个原因，循环神经网络在实际中较难捕捉时间序列中时间步距离较大的依赖关系。 门控循环神经网络（gated recurrent neural network） 的提出
李沐56_门控循环单元——自学笔记
Rrrrrr900的博客
04-23 845
我们从标准差为0.01的高斯分布中提取权重， 并将偏置项设为0，超参数num_hiddens定义隐藏单元的数量， 实例化与更新门、重置门、候选隐状态和输出层相关的所有权重和偏置。训练结束后，我们分别打印输出训练集的困惑度， 以及前缀“time traveler”和“traveler”的预测序列上的困惑度。此函数返回一个形状为（批量大小，隐藏单元个数）的张量，张量的值全部为零。准备定义门控循环单元模型， 模型的架构与基本的循环神经网络单元是相同的， 只是权重更新公式更为复杂。1.不是每个观察值都是同等重要。
【动手学习pytorch笔记】30.seq2seq
ymk1998的博客
04-13 1730
seq2seq 理论 编码器是一个RNN，因为任务是机器翻译，所以是双向的 解码器用另外一个RNN输出 之前看过Transformer对这个很熟悉 需要注意的一点是，在做训练和做推理的时候是有区别的 在训练时，我们是有正确的翻译的，所以解码器的每次输入都是正确的翻译 而在推理时，智能用我们预测的词当作解码器RNN下一个时间步的输入 那么现在我实在预测一个句子序列，而不是和之前一样预测一个词了，那么怎么衡量一个句子序列的好坏呢 比如p2p_2p2​，预测序列一共有AB,BB,BC,CD四种，在标签序列
论文笔记：信息融合的门控多模态单元（GMU）含pytorch实现
zly_Always_be的博客
01-16 5141
论文笔记：信息融合的门控多模态单元（GMU）
GATE-master_pytorch实现gate_gate_注意力机制_自注意力机制_自编码_
10-03
GATE的pytorch实现，图自编码器+注意力机制
Pytorch 从零开始实现 GRU
01-20
import numpy as np import torch from torch import nn, optim import torch.nn.functional as F 载入数据 import sys sys.path.append(../input/) import d2l_jay9460 as d2l device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') (corpus_indices, char_to_idx, idx_to_char, vocab_size) = d2l.load_
pytorch 实现gru_知识干货-动手学深度学习(pytorch)-13 循环神经网络进阶
weixin_42512719的博客
12-05 477
GRURNN存在的问题：梯度较容易出现衰减或爆炸（BPTT）⻔控循环神经⽹络：捕捉时间序列中时间步距离较⼤的依赖关系RNN:GRU:载入数据集import os os.listdir('/home/kesci/input') import numpy as np import torch from torch import nn, optim import torch.nn.functional ...
【深度学习8】基于Pytorch实现门控循环单元（GRU）【附源代码】
m0_56655321的博客
09-09 574
本文主要对GRU模型中的一些基本概念，如更新门、重置门以及GRU的网络架构进行了整理和归纳。
pytorch学习笔记之GRU
小卜妞的博客
11-17 2478
""" gru模型定义：第一维表示input特征数，第二维表示隐层特征数，也是输出特征数，第三维表示gru单元个数 要求input维度是3维，第一维表示样本数，第二维表示batch数，第三维表示input特征数； h维度，第一维同gru单元个数，第二维表示batch数，第三维表示隐层特征数 """ import torch.nn as nn import torch rnn = nn.GRUCell(10, 1) input = torch.randn(6, 3, 10) hx = torch.randn
pytorch_模型_GRU
M_arshal_的博客
09-27 472
一、GRU的原理 GRU一共有2个门。 z：更新门，取sigmoid表示以前的信息是否需要更新。 r：重置门，取sigmoid类似于LSTM的忘记门，代表以前的信息是否需要重置。就是忘记Ht-1的内容。 h‘：输入+忘记该忘记的（ht-1 * r）（R=0时候直接进行忘记之前Ht-1的操作） 新的h：更新需要更新的，不需要更新的维持（z=1就是维持Ht-1的状态不变，z=0就是进行更新） 二、GRU的实现 import torch from torch import nn from d2l import
pytorch 笔记：GRU
qq_40206371的博客
11-01 2193
在多层GRU中，第 l 层的输入（对于 l≥2）是前一层的隐藏状态乘以概率 dropout。
人工智能(Pytorch)搭建模型3-GRU网络的构建,构造数据实现训练过程与评估
微学AI的博客
04-06 2788
大家好，我是微学AI，今天给大家介绍一下人工智能(Pytorch)搭建GRU网络的过程，通过构造数据，让大家了解整个训练的过程。GRU（Gated Recurrent Unit，门控循环单元）是一种循环神经网络（RNN）的变体，用于处理序列数据。对于每个时刻，GRU模型都根据当前输入和之前的状态来推断出新状态，从而输出预测结果。与传统的RNN模型不同，在GRU模型中添加了两个门控机制，即「重置门」和「更新门」，来控制模型在推断时候保留多少历史信息。
Pytorch GRU(详解GRU+torch.nn.GRU()实现)
优快云1HAO的博客
06-16 9915
pytorch GRU 一、GRU简介 图中的和分别表示更新门和重置门。更新门用于控制前一时刻的状态信息被带入到当前状态中的程度，更新门的值越大说明前一时刻的状态信息带入越多。重置门控制前一状态有多少信息被写入到当前的候选集上，重置门越小，前一状态的信息被写入的越少。 具体计算公式 二、GRU简介2 可以将GRU看成一个基本的神经单元；每个GRU单元输入为、，输出为、；具体见下图： 三、pytorch GRU 3.1 定义GRU () torch.nn....
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值