【机器学习300问】77、什么是梯度消失和梯度爆炸？

小oo呆

已于 2024-05-29 15:43:19 修改

阅读量6.2k

点赞数 30

分类专栏：【机器学习】文章标签：机器学习人工智能

于 2024-04-19 21:06:51 首次发布

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/qq_39780701/article/details/137976701

版权

一、梯度消失（Vanishing gradients）

（1）定义

在训练深度神经网络时，随着误差梯度从输出层向输入层逐层回传，梯度可能因为连乘效应逐渐减小。当使用激活函数的导数的最大值小于1时，深度网络中越前面的层（靠近输入层的层）在梯度回传过程中梯度变小得越快。如果梯度过小，它会使得网络的权重几乎不更新，从而导致学习过程中先导层训练缓慢，这就是所谓的梯度消失问题。

梯度下降算法的权重更新公式：

$W_{new} = W_{old} - \eta \frac{\partial J}{\partial W}$

其中 $W$ 是权重， $\eta$ 是学习率， $\frac{\partial J}{\partial W}$ 是权重的梯度。梯度消失问题表现为

最低0.47元/天解锁文章

评论 1

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。