梯度消失与梯度爆炸

一、梯度消失

        梯度消失指的是在反向传播过程中，由于链式求导法则的累积效应，随着网络层数的增加，梯度逐渐变小，导致参数更新缓慢甚至停滞，网络无法收敛。

        梯度消失问题( vanishing gradient)是在早期的BP网络中比较常见的问题。这种问题的发生会让训练很难进行下去，看到的现象就是训练不再收敛——Loss过早地不再下降,而精确度也过早地不再提高。

1、梯度消失产生的原因

• 激活函数的选择：使用一些饱和激活函数（如Sigmoid，Tanh）时，导数在极值附近接近于零，反向传播时梯度也会变小

• 权重初始化不当：过大或过小的初始权重会使梯度在网络中传播时指数级增加或减小，导致梯度消失或爆炸
• 深度网络的结构：当网络层数较多时，梯度需要通过多层传播，由于链式求导法则的累积效应，当每一层的梯度都小于1时，梯度值会呈指数级衰减

2、梯度消失的解决方法

• 使用适当的激活函数：使用ReLU等非饱和激活函数可以缓解梯度消失问题
• 使用合适的权重初始化方法：如Xavier/Glorot初始化可以使每层的输出方差保持一致，避免梯度消失或爆炸
• 使用批归一化（Batch Normalization）：在每一层的输入数据上进行归一化，有助于缓解梯度消失问题

二、梯度爆炸

        梯度爆炸则是指梯度在反向传播过程中，由于链式求导法则的累乘效应，某些参数的梯度会变得非常大，导致参数更新过于剧烈，进而使得损失函数出现震荡现象。梯度爆炸问题在循环神经网络中较为常见，尤其是当网络处理较长序列时。

        梯度爆炸的表现为训练过程中损失函数的数值不稳定或发散。

1、梯度爆炸产生的原因

• 权重初始化不当：过大的初始权重会导致梯度在网络中传播时指数级增
• 深度网络的结构：当网络层数较多时，梯度需要通过多层传播，由于链式求导法则的累积效应，当每一层的梯度都大于1时，梯度值会呈指数级增加

2、梯度爆炸的解决方法

• 优化网络结构：对于循环神经网络，使用长短期记忆（LSTM）单元和相关的门类型神经元结构可以减少梯度爆炸问题。LSTM单元通过其特殊的结构设计，能够更好地捕捉长期依赖关系，从而缓解梯度消失问题。
• 使用合适的权重初始化方法：限制权重初始范围，如Xavier/Glorot初始化
• 使用批归一化（Batch Normalization）：在每一层的输入数据上进行归一化
• 使用梯度裁剪（Gradient Clipping）：设置一个梯度阈值，当梯度超过阈值时进行裁剪，限制梯度的大小
• 调整学习率：学习率的大小直接影响到参数更新的步长。适当减小学习率可以降低梯度爆炸的风险，但同时也可能使训练过程变得缓慢。因此，需要根据实际情况调整学习率，以达到最佳的训练效果，如RMSprop或Adam，这些优化器可以自适应地调整学习率

 

参考文献

梯度消失、梯度爆炸的原因和解决办法_梯度消失的原因及解决方法-优快云博客

梯度消失问题-优快云博客

https://zhuanlan.zhihu.com/p/272648694