TensorFlow出现Found Inf or NaN global norm的排查和解决办法

最新推荐文章于 2024-04-12 09:44:10 发布
原创 最新推荐文章于 2024-04-12 09:44:10 发布 · 5.5k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#神经网络 #人工智能 #tensorflow

在训练神经网络的时候，由于一些原因会出现NaN或者Inf，致使训练终止。在查阅相关资料之后，并且结合我出现的问题，做了一些总结。出现的代码在TensorFlow 1.12.2版本可正常执行。

出现问题的原因

出现NaN或者Inf的原因一般可分为以下三种

  1. 输入数据有错
  2. 出现了运算错误，如除数为零，log0等
  3. 梯度爆炸

输入数据有错

训练数据可能包含脏数据，在数据清洗时没有清洗干净，导致错误数据输入进模型。首先可以在输入模型前，使用np.any(np.isnan(data))来判断数据是否由nan。若没有，要考虑到数据的实际约束，如在我查阅资料时，看到有人输入数据包含最大值和最小值，但是错误数据的最大值和最小值反了，导致模型训练出错。这一部分要根据具体情况进行具体排查。

运算错误

检查模型中除法的分母是否为0，如果有0在结合实际情况进行修改。如果损失函数用到交叉熵，或者取log，也要注意0是否出现。如果判断出有0了，可以使用tf.clip_by_value对值进行限制。

梯度爆炸

常见于模型设计不好，或者模型本身的原因。如RNN易发生梯度爆炸，更换为LSTM可解决问题。或者模型采用了较大的学习速率，导致更新网络参数出现问题。

排查建议

最简单最方便的方法，首先调小学习速率，看看是否是由较高学习速率导致的。可以选择将学习速率降低一半， 或者降低一个数量级。在多次尝试之后，若不能解决问题，考虑其他情况。

检查运算错误，主要是有除法运算和取log的地方。判断是否有0出现，以及是否有0导致的问题，试着使用clip_by_value对数值进行限制。

最后，若还没有解决问题，再检查数据是否清洗干净。

另外，可以使用一些代码来辅助检查。在模型增加以下函数

最低0.47元/天 解锁文章
训练模型时梯度出现NAN或者inf
weixin_45302337的博客
08-08 1008
这将避免因 bfloat16 引起的问题。按操作动态调整精度：AMP 会根据具体操作的数值稳定性来选择 float32 或 float16，对于稳定性较好的操作（如矩阵乘法）使用 float16，对精度要求较高的操作（如归一化）则保留 float32。在训练过程中，这意味着模型将会使用全精度（通常是 float32）进行计算，而不使用混合精度。GradScaler 动态调整梯度缩放：AMP 默认使用 GradScaler 对梯度进行缩放，以避免因 float16 造成的数值下溢（过小梯度被舍去）。
【大模型面试每日一题】Day 6：分布式训练中 loss 出现 NaN，可能原因及排查方法？
2302_79932616的博客
05-02 1450
✅一句话总结：Loss 出现 NaN 是训练过程中常见但棘手的问题，需从梯度、参数、数据、算子、分布式等多个角度系统性排查。建议在训练初期就集成自动检测机制，结合日志、可视化和人工验证手段构建完整的防护体系。
Pytorch遇到的问题及解决方案 - 更新ing
热门推荐
Tsingzao的博客
01-17 5万+
1、安装完成后，不能import torch，提示 ImportError: dlopen: cannot load any more object with static TLS 解决办法：有很多答案都说是将import torch放在import cv2之前，但我试了之后还是不能解决，最后是通过在jupyter notebook中可以直接import torch。我是通过mobarxterm...
深度学习笔记016：BatchNorm批量归一化+nn.LayerNorm暂记
ResumeProject的博客
07-10 432
后边方差加上一个很小的数，防止变成0,在下方的归一化的式子中μB和σB是根据当前数据求出的，γ和β是可以学习的参数后边方差加上一个很小的数，防止变成0,在下方的归一化的式子中μ_B和σ_B是根据当前数据求出的，\\ γ和β是可以学习的参数后边方差加上一个很小的数，防止变成0,在下方的归一化的式子中μB​和σB​是根据当前数据求出的，γ和β是可以学习的参数 ...
Tensorflow中训练得到Nan错误的分析
yinxingtianxia的博客
09-28 6632
之前在TensorFlow中实现不同的神经网络，作为新手，发现经常会出现计算的loss中，出现Nan值的情况，总的来说，TensorFlow中出现Nan值的情况有两种，一种是在loss中计算后得到了Nan值，另一种是在更新网络权重等等数据的时候出现了Nan值，本文接下来，首先解决计算loss中得到Nan值的问题，随后介绍更新网络时，出现Nan值的情况。 Loss计算中出现Nan值 在搜
在训练中出现 NaN or Inf found in input tensor
zongmuyang的博客
03-24 4722
在深度学习中，当你看到“NaN or Inf found in input tensor”这样的错误时，它意味着你的输入张量（tensor）中包含了非数字（NaN）或无穷大（Inf）的值。这些值通常是由于数值计算错误或不稳定导致的，并且它们会破坏模型的训练过程，导致预测精度不稳定或者模型完全无法学习。
PyTorch训练“WARNING:root:NaN or Inf found in input tensor”问题
ya6543的博客
07-05 1万+
PyTorch训练报“WARNING:root:NaN or Inf found in input tensor”警告，可能是tensorboardX使用中数据格式不符合规范。
tensorflow训练中出现nan问题的解决
09-20
解决这个问题需要从多个角度进行排查和优化。以下是一些常见的解决策略： 1. **数据预处理**： - **归一化**：输入数据进行归一化是非常重要的一步，可以避免因数据范围过大而导致的数值溢出。例如，将像素值除以...
记录PyTorch中半精度amp训练出现Nan的排查过程
xu.hyj
12-06 5386
网络的教程来看，在半精度amp训练出现nan问题，无非就是这几种：但是总结起来就三种：先说结论，我使用amp半精度训练，即中间会参杂float16数据类型，加快训练过程。但是本文出现Nan就是因为float16，因为float16支持的最大值在65504，而我的模型中涉及一个矩阵乘法（其实就是transformer中的q@k运算）。其中，a∈[-38,40]，b∈[-39,40]，而矩阵乘法a@b=c，c∈[-61408,inf]。因为a和b的矩阵乘法运算后最大值超过了float16最大表示，造成出现inf
Faster RCNN pytroch1.0 训练时：Warning: NaN or Inf found in input tensor.
jokerwu192的博客
11-28 3597
文章目录问题原因解决 问题 在Pascal voc和coco上训练Faster RCNN都正常 在训练自己的数据集时（Pascal voc格式）训练Faster R-CNN pytorch1.0时出现Warning: NaN or Inf found in input tensor. 原因 可能是learning rate太大，调小learning rate。最有效的方法是learning rate设为0，看看是不是还有nan的问题。 因为自己的数据是从0开始的，但是源码中-1，如果这时候annota
Faster RCNN pytroch训练问题：Warning: NaN or Inf found in input tensor.
chenyuming的博客
12-18 8244
problem 在自己的数据（voc格式）上训练Faster RCNN（https://github.com/jwyang/faster-rcnn.pytorch）就出现了loss=nan的问题。 在Pascal voc和coco上训练Faster RCNN都正常。 reason 可能是learning rate太大，调小learning rate。最有效的方法是learning rate设为0，看看是不是还有nan的问题。 大概率是自己的数据有问题（我的数据是voc格式），voc获取左边后是要减1的
“NaN or Inf found in input tensor“问题解决办法
weixin_46573159的博客
01-11 2093
训练模型时，出现NaN or Inf found in input tensor问题。
使用pytorch训练模型出现了【Warring:root:NaN or Inf find in input tensor】的解决办法和问题描述
Python_lyj的博客
04-12 1442
实际解决了Warring:root:NaN or Inf find in input tensor！！！
训练模型的时候， Warning: NaN or Inf found in input tensor 解决办法
qq_38284961的博客
11-06 2万+
一般出现这句话的时候表示，模型训练过程中出现梯度消失或者梯度爆炸。 更改方式是降低初始学习率，比如加入初始学习率是0.1那么就将它改成0.01。 ...
WARNING:root:NaN or Inf found in input tensor.Test loss: nan,
lanmy_dl的博客
09-07 2120
但是对于我来说是跑过的一样的数据集一样的读取和预处理，另外学习率已经够低了，说学习率调到0 错误消失说明就不是数据集的问题，我这样做了，但是精度一样如上的低，虽然Test loss 有数值了。重点就是net.train()的位置，(很多博客都说放在训练前的，以前epoch训练没问题，换step时粗心没有注意到，这样放的。查问题说是学习率过大或者数据有问题，导致梯度消失或者梯度爆炸，检查数据集或者不断调低学习率。看代码也没问题，结果，果然是很细小的错误，net.train()的用法位置！
NaN or Inf found in input tensor的问题出现与处理
工立生活
07-28 2192
NaN or Inf found in input tensor的出现与处理
训练出现：WARNING:root:NaN or Inf found in input tensor.
jinxiqinghuan的博客
11-26 2554
很多博客都说是梯度爆炸的问题，但是我的损失函数正常，不像是出现梯度爆炸的样子。 在https://blog.csdn.net/qq_38284961/article/details/102935800文章的评论里有人说是tensorboaed的问题，可以不用管。 待排查。 ...
WARNING:root:NaN or Inf found in input tensor
weixin_45693324的博客
04-10 2458
记录一下出现该问题的原因： 1.数据集问题（我出现的问题，在mask数据集中有部分图片不能使用） 2.学习率太大
出现Found Inf or NaN global norm的排查和解决办法
kahuifu的博客
11-10 617
转载自：https://www.pianshen.com/article/59521439167/ 出现问题的原因 输入数据有错 出现了运算错误，如除数为0，或者log0 梯度爆炸 我看到这，就想起了应该是存在运算错误，除数可能存在0，修改后程序可以正常运行。具体的排查方法可以移步去原博客了解。 ...
平均梯度范数inf和nan分别代表什么
最新发布
10-10
在深度学习中，平均梯度范数为 `inf`（无穷大）和 `nan`（非数字）分别代表着不同的问题。 平均梯度范数为 `inf` 意味着梯度的大小变得非常大，趋向于无穷。这通常是由梯度爆炸引起的。梯度爆炸是指在反向传播过程中，梯度的值不断累积并变得极大。这种情况可能出现在使用较大的学习率时，因为学习率过大会使参数更新的步长过大，导致梯度在每次迭代中不断增大。另外，深度神经网络的结构也可能导致梯度爆炸，例如网络层数过深时，梯度在反向传播过程中不断累积放大。以下是一个简单的 PyTorch 代码示例，展示梯度爆炸可能导致平均梯度范数为 `inf` 的情况： ```python import torch import torch.nn as nn import torch.optim as optim # 简单的线性模型 class SimpleModel(nn.Module): def __init__(self): super(SimpleModel, self).__init__() self.linear = nn.Linear(1, 1) def forward(self, x): return self.linear(x) model = SimpleModel() optimizer = optim.SGD(model.parameters(), lr=100) # 使用非常大的学习率 criterion = nn.MSELoss() x = torch.randn(10, 1) y = torch.randn(10, 1) output = model(x) loss = criterion(output, y) loss.backward() total_norm = 0 for p in model.parameters(): param_norm = p.grad.data.norm(2) total_norm += param_norm.item() ** 2 total_norm = total_norm ** 0.5 print(f"平均梯度范数: {total_norm}") ``` 平均梯度范数为 `nan` 通常表示在计算梯度的过程中出现了数值不稳定的情况，例如出现了除以零或者对负数取平方根等操作。这可能是由于数据中存在异常值，比如输入数据包含 `nan` 或 `inf`，或者模型的激活函数在某些输入下会产生不稳定的输出。此外，梯度消失和梯度爆炸也可能导致 `nan` 的出现，当梯度变得非常小（梯度消失）或非常大（梯度爆炸）时，可能会引发数值计算错误，最终导致梯度变为 `nan`。以下是一个可能导致梯度为 `nan` 的简单代码示例： ```python import torch import torch.nn as nn import torch.optim as optim class Model(nn.Module): def __init__(self): super(Model, self).__init__() self.linear = nn.Linear(1, 1) def forward(self, x): return self.linear(x) model = Model() optimizer = optim.SGD(model.parameters(), lr=0.01) criterion = nn.MSELoss() # 制造一个可能导致数值不稳定的输入 x = torch.tensor([[float('inf')]]) y = torch.tensor([[1.0]]) output = model(x) loss = criterion(output, y) loss.backward() total_norm = 0 for p in model.parameters(): if p.grad is not None: param_norm = p.grad.data.norm(2) total_norm += param_norm.item() ** 2 total_norm = total_norm ** 0.5 print(f"平均梯度范数: {total_norm}") ```
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值