四、自然语言处理_03LSTM与GRU

0、前言

随着循环神经网络（RNN）在各种序列数据处理任务中被广泛应用，研究人员逐渐发现了其在处理长序列数据时会容易出现梯度消失（vanishing gradient）和梯度爆炸（exploding gradient）问题，限制了其在实际应用中的有效性

• 梯度消失问题：在RNN中，信息需要通过隐藏状态在时间步之间传递，当序列很长时，如果权重矩阵的谱半径（spectral radius）小于1，那么在反向传播过程中，梯度会随着时间步的增加而指数级减小，这导致网络在处理长序列时只能捕捉到局部的模式，无法有效地利用序列中的长距离依赖信息

• 梯度爆炸问题：与梯度消失相反，梯度爆炸指的是梯度在反向传播的过程中随着时间步的增加而指数级增大，从而导致权重更新过大，使得网络训练变得不稳定，甚至导致权重更新失效（梯度爆炸通常需要通过梯度裁剪（gradient clipping）等技术来缓解）

为了解决这些问题，研究人员提出了多种改进的RNN结构，其中最成功的两种分别是LSTM和GRU：

• LSTM（Long Short-Term Memory，长短期记忆网络）：通过引入细胞状态（cell state）和三个门控机制（输入门、遗忘门、输出门）来控制信息的流动，从而有效地解决了梯度消失问题，并允许梯度在时间步之间更稳定地传播