混合精度调优经验分享（三）

常用接口

LossScaleManager

MindSpore提供了LossScaleManager类来帮助用户设置混合精度的参数，用户在编写神经网络代码时，可以按照全精度的方式构建，然后仅通过 LossScaleManager 来对网络进行混合精度的处理。

LossScaleManager主要提供了两个类，分别是 amp.FixedLossScaleManager 和 amp.DynamicLossScaleManager。两者的区别是， FixedLossScaleManager 的 LossScale值是固定的，在整个训练过程中都不再调整；而 DynamicLossScaleManager 的lossScale是动态调整的，当网络在连续的一定step 下都没有发生溢出，LossScale 的值就会进行调整，具体的调整方式和连续step的数量可以通过其参数控制，而当检测到网络溢出后，LossScale的值便会下降；

注意，在使用 LossScaleManager时，如果网络中有任一一个算子的计算发生了溢出，该step的梯度更新都不会被执行，也就是忽略了该Step。

常见问题定位

前期Loss不收敛

Loss是神经网络训练常遇到的问题，而在混合精度下，该问题可能更加容易出现，常见的Loss不收敛原因为：

1. 网络脚本构建错误或不合理
2. 学习率等超参不合理（混合精度通常不能完全复用混合精度参数）
3. 网络本身合理的情况下，早期训练的梯度过大，导致一直有算子溢出
4. 框架和算子存在bug