梯度消失和梯度爆炸的数学原理及解决方案

博文原地址：梯度消失和梯度爆炸的数学原理及解决方案，搬来优快云

欢迎关注我的公众号，微信搜 algorithm_Tian 或者扫下面的二维码~

现在保持每周更新的频率，内容都是机器学习相关内容和读一些论文的笔记，欢迎一起讨论学习~

---

目录

1.前言

2.深度网络对梯度的影响

3.激活函数对梯度的影响

4.一些解决方案

---

1.前言

很久没看文章了，但是感觉再不写点什么公众号都要被自己遗忘了。随便写一下神经网络的一些小知识吧，感觉很多大佬把这种小知识写的非常深入浅出，很景仰很佩服。这篇文章主要还是参考了别人的技术博客。希望还算好理解。欢迎一起讨论~

梯度消失或者梯度爆炸是在训练深度网络时常常容易出现的情况，即在根据损失函数计算的误差通过梯度反向传播的方式对深度网络权值进行更新时，得到的梯度值接近0或特别大，也就是消失或爆炸。梯度消失或梯度爆炸在本质原理上其实是一样的。