机器学习总结（九）：梯度消失（vanishing gradient）与梯度爆炸（exploding gradient）问题

（1）梯度不稳定问题：

什么是梯度不稳定问题：深度神经网络中的梯度不稳定性，前面层中的梯度或会消失，或会爆炸。

原因：前面层上的梯度是来自于后面层上梯度的乘乘积。当存在过多的层次时，就出现了内在本质上的不稳定场景，如梯度消失和梯度爆炸。

（2）梯度消失（vanishing gradient problem）：

原因：例如三个隐层、单神经元网络：

则可以得到：