文章探讨了神经网络训练中遇到的梯度爆炸和消失问题，原因是链式求导法则可能导致梯度累积，特别是当w值离散且使用如ReLU的激活函数时。为确保训练过程稳定，文中提到需要控制y的方差并提出针对ReLU函数的新初始化方法。
其中的黄色字段被称为梯度值，可见这些梯度值是始终相等的。那么意味着训练过程中变化也是一样的
出现问题：
梯度爆炸是因为由于链式求导法则，在反向传播过程中会出现累积，如果 w 值的离散程度很高，累积就有可能出现极大值导致计算机无法存储，这就是梯度爆炸。若使用以下函数做激活函数可能会导致梯度为零而发生的梯度消失。
为了让神经网络训练过程稳定下来，我们需要将y的方差落在一个可控的范围内。
例如使其等于1
对于relu函数而言提出了新的初始化方法：
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
