解决梯度裁剪和梯度爆炸的方法及原理

最新推荐文章于 2025-05-17 22:29:42 发布

原创最新推荐文章于 2025-05-17 22:29:42 发布 · 729 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#神经网络 #深度学习 #pytorch #机器学习 #自然语言处理

深度学习专栏收录该内容

1 篇文章

订阅专栏

博客主要探讨了梯度爆炸和梯度消失问题。梯度爆炸是因后面层权重初始值过大，连乘使靠近输入层权重更新幅度大；梯度消失是激活函数梯度值小，连乘导致靠近输入层权重更新幅度过小。本质是反向传播连乘机制所致，还提及解决梯度爆炸的方法。

1 梯度爆炸和梯度消失产生的原因

前向传播产生loss:

$loss=y-O^{'}$

y为真实标签

反向传播：

$\frac{d_{loss}}{d_{w_{4}}}=\frac{d_{loss}}{d_{O^{'}}}\frac{d_{O^{'}}}{d_{z^{'}}}\frac{d_{z^{'}}}{d_{w_{4}}}$

$\frac{d_{loss}}{d_{w_{1}}}=\frac{d_{loss}}{d_{O^{'}}}\frac{d_{O^{'}}}{d_{z^{'}}}\frac{d_{z^{'}}}{d_{O}}\frac{d_{O}}{d_{Z}}\frac{d_{Z}}{d_{w_{1}}}=\frac{d_{loss}}{d_{O^{'}}}\frac{d_{O^{'}}}{d_{z^{'}}}w_{4}\frac{d_{O}}{d_{Z}}\frac{d_{Z}}{d_{w_{1}}}$

以上述简单网络中为例，梯度爆炸的现象为靠近输入层的权重更新幅度较大，产生的原因为后面层的权重初始化时初始值过大，由于连乘机制导致从后向前传播计算的梯度过大，如上述网络 $w_{1}$ 梯度过大是由于 $w_{4}$ 初始值过大导致。

梯度消失的现象为靠近输入层的权重更新幅度过小，产生的原因为激活函数选取不当，选取的激活函数梯度值过小，由于连乘机制导致从后向前传播计算得到的梯度过小，如上述网络 $w_{1}$ 梯度过小是由于 $\frac{d_{O^{'}}}{d_{z^{'}}}\frac{d_{O}}{d_{Z}}$ 过小导致。