梯度消失和梯度爆炸-《动手学深度学习pytorch》

深度模型有关数值稳定性的典型问题是消失（vanishing）和爆炸（explosion）。

当神经网络的层数较多时，模型的数值稳定性容易变差。

多层感知机的第𝑙l层的输出𝐻(𝑙)=𝑋𝑊(1)𝑊(2)…𝑊(𝑙)H(l)=XW(1)W(2)…W(l)。此时，如果层数𝑙l较大，𝐻(𝑙)H(l)的计算可能会出现衰减或爆炸。

如权重参数为0.2和5，多层感知机的第30层输出为输入𝑋X分别与0.230≈1×10−210.230≈1×10−21（消失）和530≈9×1020530≈9×1020（爆炸）的乘积。当层数较多时，梯度的计算也容易出现消失或爆炸。

随机初始化模型参数原因：值依然相等

值相同的话，输入计算的值相同反向梯度相同，迭代后相同，本质只有一个隐藏单元在发挥作用

Xavier随机初始化

考虑环境因素

协变量偏移：输入改变了，猫变成狗。数据集不同

标签偏移：标签偏移可以简单理解为测试时出现了训练时没有的标签

概念偏移：简单术语的定义也会发生相当大的概念转变。

后果

梯度消失会导致模型训练困难，对参数的优化步长过小，收效甚微，模型收敛十分缓慢

梯度爆炸会导致模型训练困难，对参数的优化步长过大，难以收敛