不给糖就捣蛋的博客

在深度神经网络中，梯度消失是指在误差反向传播过程中，接近输入层的层次上梯度趋近于零的现象。这导致网络权重的更新非常缓慢，甚至停止，使得训练过程变得极其困难。主要发生在使用Sigmoid或Tanh等饱和激活函数时。梯度爆炸是指在误差反向传播过程中，梯度随着传播增大，导致权重更新过大。这可能会导致网络权重波动极大，甚至发散，使得网络无法收敛。常见于深度网络或循环神经网络，例如resNet,RNN等。深度学习中的梯度消失与爆炸是训练深层神经网络时面临的关键挑战。