LSTM 详细公式与图解

Gated Recurrent Unit

GRU 和 LSTM 都可以很好的解决 RNN 中的梯度消失问题，而 GRU 与 LSTM 在某些方面很相似，为了阐述 LSTM，先阐述 GRU。

下图所示是普通 RNN 单元

GRU 的 RNN 单元与其类似，但有所不同，其中对于 a 的计算分为三部：

1. 计算 ${\tilde{a}}^{⟨t⟩}=tanh(w_a[a^{⟨t-1⟩},x^{⟨t⟩}]+b_a)$
2. 计算 ${\Gamma }_u=\sigma (w_u[a^{⟨t-1⟩},x^{⟨t⟩}]+b_u)$
3. 最终 $a^{⟨t⟩}={\Gamma }_u\cdot {\tilde{a}}^{⟨t⟩}+(1-{\Gamma }_u)\cdot a^{⟨t-1⟩}$

其中 ${\Gamma }_u$ 为 update gate，即更新门，其值域为 $[0,1]$. 从上式可以看出，最终的 $a^{⟨t⟩}$ 是当前激活值与一个时间步骤前的激活值的线性组合，通过这种方式，可以使得先前激活值有一定概率传播到当前激活值，即记住了句子之前的信息。然后用最终的 $a^{⟨t⟩}$ 计算 $y^{⟨t⟩}$.

另外为了与普通 RNN 单元进行区分，GRU 中的激活值一般以 c 表示，将上式中的 a 替换为 c 即可，下面将使用 c 阐述其他内容。

目前为止介绍的 GRU 其实做了简化，完整的 GRU 还有一个相关门，即 relevant gate，用来确定 $c^{⟨t-1⟩}$ 与 $c^{⟨t⟩}$ 的相关程度，加入了更新门后对于 c 的计算过程如下。

1. 计算 ${\Gamma }_r=\sigma (w_r[c^{⟨t-1⟩},x^{⟨t⟩}]+b_r)$
2. 计算 ${\tilde{c}}^{⟨t⟩}=tanh(w_c[{\Gamma }_r\cdot c^{⟨t-1⟩},x^{⟨t⟩}]+b_c)$
3. 计算 ${\Gamma }_u=\sigma (w_u[c^{⟨t-1⟩},x^{⟨t⟩}]+b_u)$
4. 最终 $c^{⟨t⟩}={\Gamma }_u\cdot {\tilde{c}}^{⟨t⟩}+(1-{\Gamma }_u)\cdot c^{⟨t-1⟩}$

其中第一步计算 relevant gate，第二步利用 relevatn gate 计算 ${\tilde{c}}^{⟨t⟩}$，其余步骤与之前相同。

关于为什么要使用这样的 RNN 单元，Andrew NG 对此有下面这一番话：

So why we use these architectures, why don’t we change them, how we know they will work, why not add another gate, why not use the simpler GRU instead of the full GRU; well researchers has experimented over years all the various types of these architectures with many many different versions and also addressing the vanishing gradient problem. They have found that full GRUs are one of the best RNN architectures to be used for many different problems. You can make your design but put in mind that GRUs and LSTMs are standards.

Long Short Term Memory

GRU 在解决梯度消失问题上的表现很不错，但在 GRU 提出之前，LSTM 存在已久，而 LSTM 比起 GRU 使用得更加普遍。

LSTM 与 GRU 十分相似。在 GRU 中，我们有 update gate 和 relevant gate，以及激活单元 c，而在 LSTM 中，没有_relevant gate_，但新增了 forget gate 和 output gate，以及激活单元 c 和 a，下面我们来详细阐述。

在 GRU 中，我们使用 update gate 的来控制激活单元是否更新以及更新的程度，其目的是减少激活单元更新的次数或程度，好让之前的激活单元的值得到保留，换言之，记住句子前面部分的信息，这一点在 LSTM 中并没改变，只不过相比于 GRU 使用 $1-{\Gamma }_u$ 来表示不更新的概率，LSTM 直接使用一个 forget gate 即 ${\Gamma }_f$ 来代替 $1-{\Gamma }_u$，下表可以清楚看出 GRU 与 LSTM 在计算 $c^{⟨t⟩}$ 时的区别。

GRU	LSTM
$c^{⟨t⟩}={\Gamma }_u\cdot {\tilde{c}}^{⟨t⟩}+(1-{\Gamma }_u)\cdot c^{⟨t-1⟩}$	$c^{⟨t⟩}={\Gamma }_u\cdot {\tilde{c}}^{⟨t⟩}+{\Gamma }_f\cdot c^{⟨t-1⟩}$

另一个门，即 output gate 的作用是进一步控制激活单元更新的程度，在 GRU 中，上表算出的 $c^{⟨t⟩}$ 就是激活单元，而在 LSTM 中还需进一步计算，再用一张表表示。

GRU 的激活单元	LSTM 的激活单元
$c^{⟨t⟩}={\Gamma }_u\cdot {\tilde{c}}^{⟨t⟩}+(1-{\Gamma }_u)\cdot c^{⟨t-1⟩}$	$c^{⟨t⟩}={\Gamma }_u\cdot {\tilde{c}}^{⟨t⟩}+{\Gamma }_f\cdot c^{⟨t-1⟩}$ $a^{⟨t⟩}={\Gamma }_o\cdot tanh(c^{⟨t⟩})$

从表中可以看出，LSTM 的最终激活单元是 a，即 $y^{⟨t⟩}$ 是通过 $a^{⟨t⟩}$ 的计算得出的，$c^{⟨t⟩}$ 只是中间变量，不过 $c^{⟨t⟩}$ 和 $a^{⟨t⟩}$ 都会传向下一个单元，一会会用一张图表示这个过程。

介绍了 forget gate 和 output gate 的作用后，让我们把 LSTM 的激活单元计算过程中涉及的计算式完整写一遍：

1. ${\tilde{c}}^{⟨t⟩}=tanh(w_c[a^{⟨t-1⟩},x^{⟨t⟩}]+b_c)$
2. ${\Gamma }_u=\sigma (w_u[a^{⟨t-1⟩},x^{⟨t⟩}]+b_u)$
3. ${\Gamma }_f=\sigma (w_f[a^{⟨t-1⟩},x^{⟨t⟩}]+b_f)$
4. ${\Gamma }_o=\sigma (w_o[a^{⟨t-1⟩},x^{⟨t⟩}]+b_o)$
5. $c^{⟨t⟩}={\Gamma }_u\cdot {\tilde{c}}^{⟨t⟩}+{\Gamma }_f\cdot c^{⟨t-1⟩}$
6. $a^{⟨t⟩}={\Gamma }_o\cdot tanh(c^{⟨t⟩})$

计算顺序不一定按照上面的序号来。可以用一张图来表示 LSTM 的 RNN 单元的计算过程：

从图中可以看出，$c^{⟨t⟩}$ 和 $a^{⟨t⟩}$ 都传向了下一个单元（这里说下一个单元有些不太准确，准确形容应该是 the next time step），但只有 $a^{⟨t⟩}$ 参与了 $y^{⟨t⟩}$ 的计算。

下面这幅图展示了 LSTM 的前向传播过程。