控制输入，防止数值的剧烈变化 方差的相关性质 两个随机变量相乘后的方差 经过变化得到 D(xy)=E(x2)E(y2)−E(x)2E(y)2D(xy)=E(x^2)E(y^2)-E(x)^2E(y)^2D(xy)=E(x2)E(y2)−E(x)2E(y)2 D(xy)=E(x2)(D(y)+E(y2))−E(x)2E(y)2D(xy)=E(x^2)(D(y)+E(y^2))-E(x)^2E(y)^2
控制神经网络中每层权重的方差可以避免输入数值剧烈变化，防止输出值过大导致损失函数变为NaN或输出值过小引起梯度消失问题。通过Xavier初始化（在TensorFlow中称为glorot_uniform）保持网络的方差稳定，确保训练的有效性。
最低0.47元/天 解锁文章
扫一扫
1108
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
