梯度的看法

危害

• 梯度消失会导致我们的神经网络中前面层的网络权重无法得到更新，也就停止了学习。
• 梯度爆炸会使得学习不稳定， 参数变化太大导致无法获取最优参数

根本原因

求解损失函数对参数的偏导数时，在反向传播，梯度的连续乘法（x中间值可能特别大或特别小，激活函数导数可能特别大、已经更新过的参数w也可能特别大或特别小（初始参数太大了））中总是遇上很大的绝对值（很小的绝对值），部分参数的梯度因为乘了很多较大（较小）的数而变得非常大（小）

具体表现

loss表现：梯度消失时loss几乎不变。梯度爆炸时loss非常大，甚至为nan

解决办法

1 减少网络层数

2 调节学习率（消失增大，爆炸减少）

3 激活函数调整为relu leakyrelu

4 归一化，bn或ln

5 resnet

6 l1和l2正则化

7 梯度裁剪

loss变nan的原因

1 没有归一化

2 学习率太大

transformer用到的防治梯度消失和梯度爆炸的方法

1 resnet

2 leakyrelu

3 ln（虽然用了leakyrelu，缓解了梯度消失的问题，但是求注意力系数的时候，softmax的输入过大时，偏导数也会很小，导致梯度消失的问题）

4 梯度裁剪

5 self-attention时q k相乘后处以了根号d