关于nan, 梯度爆炸，loss爆炸不完全总结笔记（自用）

芝麻挞

于 2021-05-19 04:34:55 发布

阅读量2.8k

点赞数 3

CC 4.0 BY-SA版权

文章标签：神经网络 pytorch 深度学习

本文链接：https://blog.youkuaiyun.com/weixin_43928665/article/details/117007926

本文总结了在神经网络训练中可能导致nan、梯度爆炸和loss爆炸的各种因素，包括异常值检测、自定义loss的计算、log/sqrt运算的陷阱、脏数据处理、半精度计算的影响、BatchNorm的使用注意事项、loss.item()的正确使用、weight_decay的潜在问题、交叉熵损失的符号、Pooling操作的限制以及多GPU训练的策略。通过这些实践经验和解决方法，可以更好地优化深度学习模型的训练过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 加自动监测函数找异常值

import torch
# 正向传播时：开启自动求导的异常侦测
torch.autograd.set_detect_anomaly(True)

# 反向传播时：在求导时开启侦测
with torch.autograd.detect_anomaly():
	loss.backward()

2. 自定义的loss注意除法时分母不是0

注意分母加eps保证计算稳定性

3. log(0), sqrt(0) 会导致nan，0 * inf也会变成nan

判断nan不能用 == 或 is, 要用numpy.isnan() / torch.isnan()

4. 脏数据

有可能只有某些input会导致nan，一开始就先shuffle=False保证每次读取数据的顺序是一样的，方便定位

5. fp16

曾经gradient & loss上来就是nan，求助万票，一条评论问我有没有用fp16, 当时还不理解这跟半精度有什么关系。后来发现bug还真的跟半精度有关。args.fp16没有控制到一层LayerNorm的初始化，导致我明明args.fp16=False，仍然用了半精度的FusedLayerNorm，然后当时我的batch_size又很小，所以假如batch内的divergence不够的话，有可能两个差异很小的数半精度了之后差异就变成0了，那如果某个地方需要divide by variance就直接nan了。。。