rnn，lstm 拙见

首先来简谈一下梯度消失和梯度爆炸。这个概念很常见，梯度消失指在反向传播过程中出现由于某一层的导数是0导致之后所有层的导数都是0从而导致权重参数得不到改变，从而导致训练结果不好。导数是针对激活函数，所以这个主要取决于激活函数，当然还和网络结构有关系。经典的例子就是残差网络ResNet，在这个网络中因为有跳跃连接所以参数是共享的，只要有一层参数发生变话所有层都会有一定改变。从而解决了梯度消失的问题。

梯度爆炸指进行反向传播时导数随着梯度的增加而变得差别很大，导致权重变化过大，导致网络结构不稳定，训练效果不好。这个与激活函数有关系，优化器，学习率等有关。

Rnn，循环神经网络：

rnn解决了dnn的时间序列依赖问题。dnn很简单就是线形层堆叠。这样的结构导致对于有先后顺序的序列没有识别先后的能力。rnn就是加入了上下文，可以让下一个输入中加入先前输入的一些特性。保证了时间序列之间存在依赖。

源码：

class SimpleRNN(nn.Module):
    def __init__(self, input_size, hidden_size, output_size):
        super(SimpleRNN, self).__init__()
        self.hidden_size = hidden_size
        self.i2h = nn.Linear(input_size + hidden_size, hidden_size)
        self.h2o = nn.Linear(hidden_size, output_size)
        self.tanh = nn.Tanh()

    def forward(self, input, hidden):
        combined = torch.cat((input, hidden), 1)
        hidden = self.tanh(self.i2h(combined))
        output = self.h2o(hidden)
        return output, hidden

    def init_hidden(self):
        return torch.zeros(1, self.hidden_size)

# 超参数
input_size = 1
hidden_size = 50
output_size = 1
learning_rate = 0.001
num_epochs = 5