BP算法的梯度激增，梯度消失

转自知乎：https://www.zhihu.com/question/49812013/answer/148825073

转自博客：http://blog.youkuaiyun.com/lu597203933/article/details/46575803

自我总结：

链式法则传递误差时，对乘法项：0.9*0.9*...*0.9多了就成了0（梯度消失）  ，  1.1*1.1*...*1.1多了就远大于1（梯度激增）

   

   1.3 梯度消失、梯度激增