关于nan, 梯度爆炸,loss爆炸 不完全总结笔记(自用)

本文总结了在神经网络训练中可能导致nan、梯度爆炸和loss爆炸的各种因素,包括异常值检测、自定义loss的计算、log/sqrt运算的陷阱、脏数据处理、半精度计算的影响、BatchNorm的使用注意事项、loss.item()的正确使用、weight_decay的潜在问题、交叉熵损失的符号、Pooling操作的限制以及多GPU训练的策略。通过这些实践经验和解决方法,可以更好地优化深度学习模型的训练过程。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1. 加自动监测函数找异常值
import torch
# 正向传播时:开启自动求导的异常侦测
torch.autograd.set_detect_anomaly(True)

# 反向传播时:在求导时开启侦测
with torch.autograd.detect_anomaly():
	loss.backward()
2. 自定义的loss注意除法时分母不是0

注意分母加eps保证计算稳定性

3. log(0), sqrt(0) 会导致nan,0 * inf也会变成nan

判断nan不能用 == 或 is, 要用numpy.isnan() / torch.isnan()

4. 脏数据

有可能只有某些input会导致nan,一开始就先shuffle=False保证每次读取数据的顺序是一样的,方便定位

5. fp16

曾经gradient & loss上来就是nan,求助万票,一条评论问我有没有用fp16, 当时还不理解这跟半精度有什么关系。后来发现bug还真的跟半精度有关。args.fp16没有控制到一层LayerNorm的初始化,导致我明明args.fp16=False,仍然用了半精度的FusedLayerNorm,然后当时我的batch_size又很小,所以假如batch内的divergence不够的话,有可能两个差异很小的数半精度了之后差异就变成0了,那如果某个地方需要divide by variance就直接nan了。。。

6. BatchNorm的坑

这点我还没遇到,看别人总结的。

BatchNorm会用到running_mean & running_variance. 假如batch_size过

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值