一文看懂LSTM

一、写在前面

本文在我的另一篇博文《一文看懂RNN》的基础上介绍RNN的改进版本——LSTM

二、LSTM

在RNN的实际运用中，我们发现，当时间步数较大或者时间步较小时，循环神经网络的梯度较容易出现衰减或爆炸。虽然裁剪梯度可以应对梯度爆炸，但无法解决梯度衰减的问题。通常由于这个原因，循环神经网络在实际中较难捕捉时间序列中时间步距离较大的依赖关系。为了解决这一问题，学者们先后提出了GRU模型和LSTM模型。LSTM模型比GRU模型更为复杂，门控机制更多，所以一般来说相比之下效果也更好。

2.1 输入门、遗忘门和输出门

LSTM 中引入了3个门，即输入门（input gate）、遗忘门（forget gate）和输出门（output gate），以及与隐藏状态形状相同的记忆细胞（某些文献把记忆细胞当成一种特殊的隐藏状态），从而记录额外的信息。

2.2 输入门、遗忘门和输出门

与门控循环单元中的重置门和更新门一样，如下图所示，长短期记忆的门的输入均为当前时间步输入$\mathbf{X}t$与上一时间步隐藏状态$\mathbf{H}t-1$，输出由激活函数为sigmoid函数的全连接层计算得到。如此一来，这3个门元素的值域均为$[0,1]$。

具体来说，假设隐藏单元个数为$h$，给定时间步$t$的小批量输入${\mathbf{X}}_t\in {\mathbb{R}}^{n\times d}$（样本数为$n$，输入个数为$d$）和上一时间步隐藏状态${\mathbf{H}}_{t-1}\in {\mathbb{R}}^{n\times h}$。 时间步$t$的输入门${\mathbf{I}}_t\in {\mathbb{R}}^{n\times h}$、遗忘门${\mathbf{F}}_t\in {\mathbb{R}}^{n\times h}$和输出门${\mathbf{O}}_t\in {\mathbb{R}}^{n\times h}$分别计算如下：

$$\begin{array}{rlrl}{\mathbf{I}}_t& =\sigma ({\mathbf{X}}_t{\mathbf{W}}_{xi}+{\mathbf{H}}_{t-1}{\mathbf{W}}_{hi}+\mathbf{b}i),{\mathbf{F}}_t& =\sigma ({\mathbf{X}}_t{\mathbf{W}}_{xf}+{\mathbf{H}}_{t-1}{\mathbf{W}}_{hf}+{\mathbf{b}}_f),{\mathbf{O}}_t& =\sigma (\mathbf{X}t{\mathbf{W}}_{xo}\end{array}$$