RNN基础回顾（2）（LSTM）

zhangzhiwei-zzw

已于 2022-05-03 15:18:17 修改

阅读量951

点赞数 2

文章标签： rnn lstm

于 2022-05-03 15:09:59 首次发布

本文链接：https://blog.youkuaiyun.com/zzw3354353337/article/details/124554531

版权

本文深入介绍了LSTM（长短期记忆网络）的工作原理，包括其细胞状态、输入门、遗忘门和输出门等核心组件。LSTM通过门控机制有效地解决了标准RNN在处理长期依赖问题时的挑战，使其能够在更长的上下文中传递和利用信息。此外，文章还提到了LSTM在PyTorch中的实现，并对比了LSTM与传统RNN的区别。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

上一篇博客中已经回顾了最基础的RNN结构，还有RNN的输入层、输出层、隐藏层等相关概念，一般的RNN模型是一种将以往学习的结果应用到当前学习的模型，但是这种一般的RNN存在着许多的弊端。举个例子，如果我们要预测“the clouds are in the sky”的最后一个单词，因为只在这一个句子的语境中进行预测，那么将很容易地预测出是这个单词是sky。在这样的场景中，相关的信息和预测的词位置之间的间隔是非常小的，RNN 可以学会使用先前的信息。标准的RNN结构中只有一个神经元，一个tanh层进行重复的学习，这样会存在一些弊端。例如，在比较长的环境中，例如在“I grew up in France… I speak fluent French”中去预测最后的French，那么模型会推荐一种语言的名字，但是预测具体是哪一种语言时就需要用到很远以前的Franch，这就说明在长环境中相关的信息和预测的词之间的间隔可以是非常长的。在理论上，RNN 绝对可以处理这样的长环境问题。人们可以仔细挑选参数来解决这类问题中的最初级形式，但在实践中，传统RNN模型并不能够成功学习到这些知识。然而，LSTM（长短期记忆神经网络）模型就可以解决这一问题。GRU作为LSTM的一种变体，将忘记门和输入门合成了一个单一的更新门。同样还混合了细胞状态和隐藏状态，加诸其他一些改动。最终的模型比标准的 LSTM 模型要简单，也是非常流行的变体。

LSTM（Long Short-Term Memory，长短期记忆网络）

1、总体结构

如图所示，标准LSTM模型是一种特殊的RNN类型，不考虑每个单元的内部构造，则与传统RNN的输入输出相同，在每一个重复的模块中有四个特殊的结构，以一种特殊的方式进行交互。在图中，每一条黑线传输着一整个向量，粉色的圈代表一种pointwise 操作(将定义域上的每一点的函数值分别进行运算)，诸如向量的和，而黄色的矩阵就是学习到的神经网络层。LSTM模型的核心思想是“细胞状态”。“细胞状态”类似于传送带。直接在整个链上运行，只有一些少量的线性交互。信息在上面流传保持不变会很容易。 LSTM 有通过精心设计的称作为“门”的结构来去除或者增加信息到细胞状态的能力。门是一种让信息选择式通过的方法。LSTM有三种门：输入门、遗忘门和输出门。

2、内部结构

（1）遗忘门

与传统RNN的内部结构计算非常相似,首先将当前时间步输入 $x_t$ 与上一个时间步隐含状态 $h_{t-1}$ 拼接,得到 $[h_{t-1} , x_t]$ ，然后通过一个全连接层做变换，最后通过sigmoid函数进行激活得到 $f_t$ ，我们可以将 $f_t$ 看作是门值,好比一扇门开合的大小程度，门值都将作用在通过该扇门的张量，遗忘门门值将作用的上一层的细胞状态上，代表遗忘过去的多少信息，又因为遗忘门门值是由 $h_{t-1} ,x_t$ 计算得来的，因此整个公式意味着根据当前时间步输入 $x_t$ 和上一个时间步隐含状态 $h_{t-1}$ 来决定遗忘多少上一层的细胞状态所携带的过往信息。这一层是决定我们从“细胞”中丢弃什么信息，该层读取当前输入 $x_t$ 和前神经元信息 $h_{t-1}$ ，由 $f_t$ 来决定丢弃的信息。输出结果1表示“完全保留”，0 表示“完全舍弃”。(Sigmoid 函数输出 0 到 1 之间的数值，描述每个部分有多少量可以通过。0 代表“不许任何量通过”，1 就指“允许任意量通过”)

(2)输入门

输入门位于LSTM整个单元的中间部分，可以看到输入门的计算公式有两个，第一个就是产生输入门门值的公式，它和遗忘门公式几乎相同，区别只是在于它们之后要作用的目标上，这个公式意味着输入信息有多少需要进行过滤。输入门的第二个公式是与传统RNN的内部结构计算相同，对于LSTM来讲，它得到的是当前的细胞状态，而不是像经典RNN得到的是隐含状态，tanh层来创建一个新的候选值向量 $\widetilde{C_{t}}$ 加入到状态中。在语言模型的例子中，我们希望增加新的主语到细胞状态中，来替代旧的需要忘记的主语。

细胞状态更新结构与公式

细胞更新的结构与计算公式非常容易理解，这里没有全连接层，只是将刚刚得到的遗忘门门值与上一个时间步得到的 $C_{t-1}$ 相乘再加上输入门门值与当前时间步得到的未更新 $\widetilde{C_{t}}$ 相乘的结果.最终得到更新后的 $C_t$ 作为下一个时间步输入的一部分。整个细胞状态更新过程就是对遗忘门和输入门的应用。

（3）输出门

输出门部分的公式也是两个，输出值基于细胞状态；第一个即是计算输出门的门值，由sigmoid组成的“输出门”产生的介于0到1之间的控制信号，它和遗忘门，输入门计算方式相同。第二个即是使用这个门值产生隐含状态 $h_t$ ，他将作用在更新后的细胞状态 $C_t$ 上,并做 $tanh$ 激活，然后和第一步得到的 $O_t$ 相乘，最终得到 $h_t$ 作为下一时间步输入的一部分，整个输出门的过程,就是为了产生隐含状态 $h_t$ 。

3、在PyTorch中使用LSTM

使用方法与RNN一致，输入输出并没有特别大的差别，但是会多出一个细胞状态 $C_t$ 。

# 此处与RNN一致，都是input_size,hidden_size,num_layers
lstm=nn.LSTM(5,6,2)

输入输出的张量会多出一个细胞状态C。

# 输入也是seq_len,batch_size,input_size
# 隐藏为num_layers,batch_size,hidden_size
# 初始化细胞状态张量c,和隐藏层输入一致
input=torch.randn(1,3,5)
h0=torch.randn(2,3,6)
c0=torch.randn(2,3,6)
output,(hn,cn)=lstm(input,(h0,c0))

可以打印处output的shape值查看张量形状。