复现RNN的梯度消失 & 验证LSTM解决了梯度消失

背景

       RNNCell的计算公式  

       LSTMCell的计算公式

根据上面公式得出的梯度公式可得出RNN会导致梯度消失，但LSTM不会，本质的原因是RNN的参数只有W, LSTM的参数有W+b，b可以根据实际情况来调整，具体的求导公式什么的就不列出来了。

RNN梯度消失

import torch
import torch.nn as nn
import torch.optim as optim

# 定义一个简单的 RNNCell
class SimpleRNNCell(nn.Module):
    def __init__(self, input_size, hidden_size):
        super(SimpleRNNCell, self).__init__()
        self.rnn_cell = nn.RNNCell(input_size, hidden_size)

    def forward(self, input, hidden):
        return self.rnn_cell(input, hidden)

# 设置随机种子以确保可重复性
torch.manual_seed(0)
torch.autograd.set_detect_anomaly(True)

# 超参数
input_size = 10
hidden_size = 20
sequence_length = 10000  # 长序列
batch_size = 1
learning_rate = 1.0