- 博客(14)
- 收藏
- 关注
原创 梯度消失与梯度爆炸
梯度消失问题( vanishing gradient)是在早期的BP网络中比较常见的问题。这种问题的发生会让训练很难进行下去,看到的现象就是训练不再收敛——Loss过早地不再下降,而精确度也过早地不再提高。梯度爆炸则是指梯度在反向传播过程中,由于链式求导法则的累乘效应,某些参数的梯度会变得非常大,导致参数更新过于剧烈,进而使得损失函数出现震荡现象。梯度消失指的是在反向传播过程中,由于链式求导法则的累积效应,随着网络层数的增加,梯度逐渐变小,导致参数更新缓慢甚至停滞,网络无法收敛。
2024-08-31 17:06:08
519
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人