51、长短期记忆网络（LSTM）与门控循环单元（GRUs）详解

长短期记忆网络（LSTM）与门控循环单元（GRUs）详解

1. 循环神经网络的问题

循环神经网络（RNN）存在两个主要问题：
- 梯度消失和梯度爆炸 ：在神经网络更新中，连续与矩阵 $W^{(k)}$ 相乘本质上是不稳定的。这可能导致在反向传播过程中梯度消失，或者以不稳定的方式急剧增大到很大的值。这种不稳定性是在不同时间戳连续与（循环）权重矩阵相乘的直接结果。
- 长文本信息保留困难 ：RNN 难以保留长文本段中的信息，因为每次状态转换都会抹去一些之前步骤学到的信息。例如，对于句子 “Selecting the left branch at the fork was a mistake, and I should have understood that it made better sense to choose the right one.”，当 RNN 处理到句子末尾时，可能难以理解 “right” 与方向的关联以及 “one” 指代的是分支，因为相关信息已被连续的状态转换打乱。可以认为，仅使用乘法更新的神经网络只擅长学习短序列，因此本质上短期记忆良好，但长期记忆较差。

2. 长短期记忆网络（LSTM）

2.1 LSTM 概述

为了解决 RNN 的上述问题，可以使用长短期记忆网络（LSTM）来改变隐藏向量的递归方程。LSTM 是对图 8.6 中循环神经网络架构的改进，通过引入一个额外的 $p$ 维隐藏向量 $c^{(k)}_t$（称为单元状态），对写入长期记忆的数据进行细粒度控制。单元状态可以看作是一种长期记忆，通过对先前单元状态进行部分 “遗忘” 和