（深度学习）Pytorch自己动手不调库实现LSTM

（深度学习）Pytorch自己动手不调库实现LSTM

此文为Pytorch深度学习的第三篇文章，在上一篇文章（深度学习）Pytorch进阶之实现AlexNet中我们不调库手动实现了AlexNet，今天我们尝试更具挑战性的，手动实现LSTM。

LSTM（Long short-term memory）是一种特殊的RNN。通过精巧的设计解决长序列训练过程中的远距离传递导致的信息丢失问题。

标准RNN由简单的神经网络模块按时序展开成链式。这个重复模块往往结构简单且单一，如一个tanh层。这种记忆叠加方式简单粗暴，容易导致长序列训练过程中的梯度消失和梯度爆炸问题。相比之下，LSTM内部有如下图所示较为复杂的结构。能通过门控状态来选择调整传输的信息，记住需要长时记忆的信息，忘记不重要的信息，进而解决了梯度消失和梯度爆炸问题。

本文中所展示的LSTM代码，等价于nn.LSTM中batch_first=True的效果。

首先在初始化的过程中，进行了输入门i_t、遗忘门f_t、输出门o_t、候选内部状态g_t的参数初始化:

def __init__(self, input_size, hidden_size):
    super().__init__()
    self.input_size = input_size
    self.hidden_size = hidden_size
    # 输入门i_t
    self.W_i = Parameter(torch.Tensor(input_size, hidden_size))
    self.U_i = Parameter(torch.Tensor(hidden_size, hidden_size))
    self.b_i = Parameter(torch.Tensor(hidden_size))
    # 遗忘门f_t
    self.W_f = Parameter(torch.Tensor(input_size, hidden_size))
    self.U_f = Parameter(torch.Tensor(hidden_size, hidden_size))
    self.b_f = Parameter(torch.Tensor(hidden_size))
    # 候选内部状态g_t
    self.W_g = Parameter(torch.Tensor(input_size, hidden_size))
    self.U_g = Parameter(torch.Tensor(hidden_size, hidden_size))
    self.b_g = Parameter(torch.Tensor(hidden_size))
    # 输出门o_t
    self.W_o = Parameter(torch.Tensor(input_size, hidden_size))
    self.U_o = Parameter(torch.Tensor(hidden_size, hidden_size))
    self.b_o = Parameter(torch.Tensor(hidden_size))

    # 初始化参数
    self._initialize_weights(