48、解决循环神经网络的梯度不稳定和短期记忆问题

解决循环神经网络的梯度不稳定和短期记忆问题

1. 应对梯度不稳定问题

在处理循环神经网络（RNN）时，梯度不稳定是一个常见的问题。在深度网络中用于缓解梯度不稳定问题的许多技巧同样适用于RNN，例如良好的参数初始化、使用更高效的优化器以及应用Dropout等。

然而，非饱和激活函数（如ReLU）在RNN中可能效果不佳，甚至会使训练过程更加不稳定。这是因为梯度下降更新权重时，若在第一个时间步长输出略微增加，由于每个时间步使用相同的权重，后续时间步的输出也会逐渐增加，最终可能导致输出爆炸，而非饱和激活函数无法阻止这种情况发生。为降低风险，可以使用较小的学习率，或者使用饱和激活函数，如双曲正切函数（这也是其成为默认选择的原因）。

此外，若发现训练不稳定，可以监控梯度的大小（例如使用TensorBoard），也可以采用梯度裁剪（Gradient Clipping）方法。

1.1 归一化方法

• 批量归一化（Batch Normalization） ：批量归一化在RNN中的效果不如在深度前馈网络中显著。实际上，它只能应用于循环层之间，而不能在时间步之间使用。在Keras中，可以在每个循环层之前添加 BatchNormalization 层，但不要对其效果期望过高。
• 层归一化（Layer Normalization） ：层归一化通常更适合RNN。它与批量归一化类似，但不是在批量维度上进行归一化，而是在特征维度上进行。其优点是可以在每个时间步独立为每个实例即时计算所需的统计信息，并且在训练和测试阶段表现一致，无需使