【动手学习pytorch笔记】22.RNN从零实现

最新推荐文章于 2024-07-29 12:40:03 发布

原创

最新推荐文章于 2024-07-29 12:40:03 发布 · 2.4k 阅读

11 ·

CC 4.0 BY-SA版权

文章标签：

#pytorch #rnn #学习 #深度学习

本文详细介绍了从头实现循环神经网络(RNN)的过程，包括数据预处理、模型参数初始化、正向传播、预测与训练，以及如何处理梯度爆炸问题。通过实例展示了如何创建RNN模型、初始化隐藏状态、预测字符序列以及使用随机抽样迭代训练。

RNN从零实现

%matplotlib inline
import math
import torch
from torch import nn
from torch.nn import functional as F
from d2l import torch as d2l

batch_size, num_steps = 32, 35
train_iter, vocab = d2l.load_data_time_machine(batch_size, num_steps)

上一节的函数load_data_time_machine，传入两个参数

batch_size：批量大小

num_steps：时间步（窗口大小，即根据前面多少个词做预测）

one-hot编码

F.one_hot(torch.tensor([0, 2]), len(vocab))

one-hot编码，把任意向量表示成长度为len(vocab)的编码，我们使用的是’char’构建的词典，长度为28

tensor([[1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
         0, 0, 0, 0],
        [0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
         0, 0, 0, 0]])

那么对于我们的输入x来说，以下面这个为例 X (batchsize = 2, num_steps = 5)

X:
[[0, 1, 2, 3, 4]
 [5, 6, 7, 8, 9]]

X = torch.arange(10).reshape((2, 5))
F.one_hot(X.T, 28).shape

输出

torch.Size([5, 2, 28])

这里为什么要把X取转置呢？

拿本例来说，我们的输入是一个 2 * 5 * 28的矩阵。batchsize = 2 可以理解为有几句话，timestep = 5 可以理解为有几个词，vocab_size = 28
再进入rnn这个函数里面看
如果不转置（首先我们先忽略H0是一个2 * 28的矩阵）
[ 5 * 28 ] 点乘[ 28 * 28 ] + $H_0$ * $W_{hh}$ = $H_1$ ，我们可以看到这个H1记录的是第一句话的信息，但是第一句话和第二句话是独立的，这个和我们的需求是违背的。我们的需求是，拿一句话的第n个词预测以及第n个词之前的历史信息，预测n+1个词。
如果转置 2 * 28，那记录的就是词于词的关系而不是句子与句子的关系了

初始化模型参数

def get_params(vocab_size, num_hiddens, device):
    # 输入一个词的one-hot编码 = vocab_size
    # 输出是vocab_size大小的分类问题 = vocab_size
    num_inputs = num_outputs = vocab_size

    def normal(shape):
        return torch.randn(size=shape, device=device) * 0.01

    # 隐藏层参数
    W_xh = normal((num_inputs, num_hiddens))
    W_hh = normal((num_hiddens, num_hiddens))
    b_h = torch.zeros(num_hiddens, device=device)
    # 输出层参数
    W_hq = normal((num_hiddens, num_outputs))
    b_q = torch.zeros(num_outputs, device=device)
    # 附加梯度
    params = [W_xh, W_hh, b_h, W_hq, b_q]
    for param in params:
        param.requires_grad_(True)
    return params