⻔控循环单元（GRU）Pytorch代码

最新推荐文章于 2025-07-15 19:43:36 发布
原创 最新推荐文章于 2025-07-15 19:43:36 发布 · 956 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch #gru #深度学习

这段代码展示了如何用PyTorch构建一个GRU循环神经网络模型，并应用于时间机器数据集。模型定义、训练过程和数据加载都在代码中详细说明。
部署运行你感兴趣的模型镜像 
import torch
from torch import nn
from d2l import torch as d2l
batch_size, num_steps = 32, 35
train_iter, vocab = d2l.load_data_time_machine(batch_size, num_steps)
vocab_size, num_hiddens, device = len(vocab), 256, d2l.try_gpu()
num_epochs, lr = 500, 1
num_inputs = vocab_size
gru_layer = nn.GRU(num_inputs, num_hiddens)
model = d2l.RNNModel(gru_layer, len(vocab))
model = model.to(device)
d2l.train_ch8(model, train_iter, vocab, lr, num_epochs, device)

您可能感兴趣的与本文相关的镜像

PyTorch 2.5

PyTorch 2.5

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

【NLP】第四章：门控循环单元GRU
因为热爱所以坚持
11-29 2034
哎，笑一会儿，本来记忆和遗忘就是一体两面，非此即彼的。从上图的公式看，其实这两个门，仅仅是两个门而已，它们两个的计算一模一样，输入一模一样，只是使用了两个不同的矩阵线性变换了一下，而且这两个矩阵都是随机生成的，只有在训练过程中，这两个门才会慢慢迭代成其功能的门。有的资料叫节点，有的叫单元，有的叫循环单元，，，等等各种叫法，所以我们也不用纠结。第二个坑就是上图的C处，我一开始先计算的rt*ht-1，然后再进行线性变换，一看结果对不上，查看GRU的说明文档才发现，pytorch人家是先线性变换后再乘rt的。
pytorch实现GRU（附code）
热门推荐
ting_qifengl的博客
01-29 2万+
接上一篇文章（pytorch实现LSTM），在实现LSTM之后，又发现了GRU网络。 说GRU是LSTM网络的一种效果很好的变体，它较LSTM网络的结构更加简单，而且效果也很好，也是当前非常流形的一种网络。 所以决定尝试一下！ 注：数据集仍然使用上文中的IGBT加速老化数据集，数据与处理方法不变，直接上代码！！！ 在保证输入样本参数和学习率不变的情况下，即input_size = 5，out_oput = 1，lr = 0.01，试了很多参数，发现在训练集80%，测试集20%，hidden_size
循环神经网络-基于门控(LSTM)
Shirongliang的博客
12-13 2388
循环神经网络-长短期记忆网络，门控循环单元网络
门控循环神经网络GRNN学习笔记（gru和lstm）
争取原创，尽量不CV
03-25 2908
GRU LSTM 当时间步数较大或者时间步较小时，循环神经网络的梯度较容易出现衰减或爆炸。虽然裁剪梯度可以应对梯度爆炸，但无法解决梯度衰减的问题。通常由于这个原因，循环神经网络在实际中较难捕捉时间序列中时间步距离较大的依赖关系。 门控循环神经网络（gated recurrent neural network）的提出，正是为了更好地捕捉时间序列中时间步距离较大的依赖关系。它通过可以学习的门来控制信...
门控循环神经网络LSTM与GRU（附python演练）
小白学视觉
07-10 4627
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达编辑 |安可出品 |磐创AI技术团队目录：门控循环神经网络简介长短期记忆网络（LSTM）门控制循环单元（GRU）TensorFlow实现LSTM和GRU参考文献一、 门控循环神经网络门控循环神经网络在简单循环神经网络的基础上对网络的结构做了调整，加入了门控机制，用来控制神经网络中信息的传递。门控机制...
现代循环神经网络：门控循环单元(GRU)
qq_51957239的博客
03-13 1万+
门控循环神经网络（Gated Recurrent Neural Network，简称“门控循环神经网络”或“门循环神经网络”）是一种改进的循环神经网络（RNN）架构。它包含了一些门控机制，可以更好地捕捉时间序列数据中的长期依赖关系。门控循环神经网络最早由Hochreiter和Schmidhuber在1997年提出，但是由于当时缺乏计算能力和数据集，它并没有得到广泛应用。后来，在2014年，Cho等人提出了一种简化版的门控循环神经网络，即GRU，它比传统的门控循环神经网络更易于训练和实现
动手学深度学习（Pytorch版）代码实践 -循环神经网络-56门控循环单元（GRU）
李思成的博客
07-07 852
前者支持隐状态的门控。这意味着模型有专门的机制来确定应该何时更新隐状态， 以及应该何时重置隐状态。这些机制是可学习的，并且能够解决了上面列出的问题。例如，如果第一个词元非常重要， 模型将学会在第一次观测之后不更新隐状态。同样，模型也可以学会跳过不相关的临时观测。最后，模型还将学会在需要的时候重置隐状态。我们讨论了如何在循环神经网络中计算梯度， 以及矩阵连续乘积可以导致梯度消失或梯度爆炸的问题。
pytorch实现门控循环单元 (GRU）
因为不想回家，所以还是去搬砖。
01-31 846
【代码】pytorch实现门控循环单元 (GRU）
【动手学习pytorch笔记】24.门控循环单元GRU
ymk1998的博客
04-10 1286
GRU 序列中并不是所有信息都同等重要，为了记住重要的信息和遗忘不重要的信息，最早的方法是”长短期记忆”（long-short-term memory，LSTM），这节门控循环单元（gated recurrent unit，GRU）是一个稍微简化的变体，通常能够提供同等的效果， 并且计算的速度明显更快。 理论 两个门（和隐藏状态类似） 重置门（虫豸们~） ​ Rt=σ(XtWxr+Ht−1Whr+br)R_t = \sigma(X_tW_{xr}+H_{t-1}W_{hr}+b_r)Rt​=σ(Xt​Wxr
GRU PyTorch版
04-04
2. 时间步处理：GRU的核心在于对序列数据在每个时间步的处理，因此在PyTorch代码中需要编写循环或利用PyTorch内置函数来迭代地处理序列中的每个时间步。 3. 前向传播和后向传播：在PyTorch中实现GRU，需要编写前向...
Pytorch 从零开始实现 GRU
01-20
import numpy as np import torch from torch import nn, optim import torch.nn.functional as F 载入数据 import sys sys.path.append(../input/) import d2l_jay9460 as d2l device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') (corpus_indices, char_to_idx, idx_to_char, vocab_size) = d2l.load_
十 | 门控循环神经网络LSTM与GRU（附python演练）
ciwen8683的博客
11-23 2280
编辑 |安可出品 |磐创AI技术团队目录：门控循环神经网络简介长短期记忆网络（LSTM）门控制循环单元（GRU）TensorFlow实现LSTM和GRU参考文献一、 门控循环神经网络门控循环神经网络在简单循环神经网络的基础上...
基于门控的循环神经网络：LSTM
weixin_42255757的博客
05-13 1298
本文介绍了LSTM的原理，并手动实现了LSTM的代码，最后用正弦数据预测作为案例进行了实现。
自学神经网络系列—— 11 门控循环神经网络 GRU和LSTM
ML_python_get√的博客
02-18 1588
门控循环神经网络LSTM和GRU
循环神经网络 - 门控循环单元网络
分享技术人生的学习笔记和过往心得，与志同道合者共同进步
04-14 1294
本文我们来学习门控循环单元（Gated Recurrent Unit, GRU），GRU是一种对传统循环神经网络（RNN）进行改进的变体，其设计目标是在捕捉序列数据中时间依赖信息时，既提高模型表达能力又减少参数量和计算复杂度。与 LSTM 网络相比，GRU 结构更简单，但在许多任务中表现与 LSTM 相近甚至更优。
动手学深度学习（四十二）——双向循环神经网络（bi-RNN）
Liu Feng's Blog
11-13 7233
文章目录双向循环神经网络一、隐马尔可夫模型中的动态规划二、双向模型2.1 定义2.2 模型的计算成本及其应用三、双向循环神经网络的错误应用 双向循环神经网络   在序列学习中，我们以往假设的目标是：到目前为止，在给定观测的情况下对下一个输出进行建模。例如，在时间序列的上下文中或在语言模型的上下文中。虽然这是一个典型的情况，但这并不是我们可能遇到的唯一情况。为了说明这个问题，考虑以下三个在文本序列中填空的任务： 我 ___（高兴、饿了、很好…）。 我 ___ 饿了（非常、一般、已经…）。 我 ___ 饿了，
从代码学习深度学习 - GRU PyTorch版
weixin_43887510的博客
04-04 1041
在深度学习领域，循环神经网络（RNN）及其变种如GRU（Gated Recurrent Unit，门控循环单元）在处理序列数据时表现出色。相比传统RNN，GRU通过更新门（Update Gate）和重置门（Reset Gate）简化了结构，同时保持了对长期依赖关系的建模能力。本篇博客将通过PyTorch实现一个基于GRU的文本生成模型，结合《The Time Machine》数据集，逐步解析代码实现的全过程。从数据预处理到模型训练，再到结果可视化，我们将深入探讨每个模块的功能，并展示完整的代码实现。
深度学习——双向循环神经网络（笔记）
jbkjhji的博客
01-19 1796
Ⅱ如果使用双向循环神经网络预测下一个词元，尽管在训练的时候能够利用所预测词元过去和未来的数据（也就是所预测词元的上下文）来估计所预测的词元，但是在测试的时候，模型的输入只有过去的数据（也就是所预测词所在位置之前的信息），所以会导致精度很差。最后输出层计算得到Ot。Ⅰ主要原因是网络的前向传播需要在双向层中进行前向和后向递归，并且网络的反向传播也以依赖于前向传播的结果，因此梯度求解将有一个非常长的链。①对于序列来讲，假设的目标是：给定观测的情况下（在时间序列的上下文或语言模型的上下文），对于。
一文读懂循环神经网络—门控循环单元
最新发布
wh1236666的博客
07-15 1412
重置门负责筛选历史信息，帮助模型关注 "当前相关" 的历史内容。 更新门负责平衡新旧信息，帮助模型在 "记忆" 和 "遗忘" 之间找到平衡点。
GRU pytorch代码
02-11
### PyTorch 实现 GRU 神经网络代码示例 在PyTorch中实现GRU（门控循环单元）神经网络相对直观，得益于其动态计算图机制。下面展示了一个简单的例子来构建并训练一个基于GRU的序列预测模型。 #### 导入必要的库 ```python import torch from torch import nn, optim import numpy as np ``` #### 定义GRU模型类 定义一个继承自`nn.Module`的类用于表示GRU模型： ```python class GRUNet(nn.Module): def __init__(input_size, hidden_dim, n_layers=1, drop_prob=0.2): super(GRUNet, self).__init__() # 初始化参数 self.hidden_dim = hidden_dim self.n_layers = n_layers # 创建GRU层 self.gru = nn.GRU(input_size, hidden_dim, n_layers, batch_first=True, dropout=drop_prob) # 添加全连接层 self.fc = nn.Linear(hidden_dim, 1) def forward(x, hidden): gru_out, hidden = self.gru(x, hidden) out = self.fc(gru_out[:, -1]) return out, hidden def init_hidden(batch_size): weight = next(self.parameters()).data hidden = weight.new(self.n_layers, batch_size, self.hidden_dim).zero_() return hidden ``` 此部分展示了如何通过组合GRU层和其他组件来自定义RNN架构[^1]。 #### 准备数据集 为了简化说明过程，在这里假设已经有了适当形状的数据集X_train和y_train: ```python # 假设已经准备好输入特征矩阵 X_train 和目标变量 y_train batch_size = 64 train_loader = torch.utils.data.DataLoader( list(zip(X_train, y_train)), batch_size=batch_size, shuffle=True ) ``` #### 训练流程设置 配置损失函数、优化器以及训练循环： ```python model = GRUNet(input_size=X_train.shape[-1], hidden_dim=50, n_layers=2) loss_fn = nn.MSELoss() optimizer = optim.Adam(model.parameters(), lr=0.001) epochs = 10 for epoch in range(epochs): model.train() h = model.init_hidden(batch_size) avg_loss = [] for inputs, labels in train_loader: optimizer.zero_grad() output, h = model(inputs.float(), h.float()) loss = loss_fn(output.squeeze(), labels.float()) loss.backward(retain_graph=True) optimizer.step() avg_loss.append(loss.item()) print(f'Epoch {epoch+1}/{epochs}, Loss: {np.mean(avg_loss):.4f}') ``` 上述代码片段提供了完整的训练框架，包括初始化隐藏状态、前向传播、反向传播更新权重等操作[^3]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值