本文探讨了链式法则中乘法项导致的梯度消失及梯度激增问题，解释了为何当乘法项累积过多时会出现这两种现象。
转自知乎：https://www.zhihu.com/question/49812013/answer/148825073
转自博客：http://blog.youkuaiyun.com/lu597203933/article/details/46575803
自我总结：
链式法则传递误差时，对乘法项：0.9*0.9*...*0.9多了就成了0（梯度消失） ， 1.1*1.1*...*1.1多了就远大于1（梯度激增）
1.3 梯度消失、梯度激增
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
