解决tensorflow-gpu版本训练loss一直为nan，或者loss，accuracy数值明显不对问题

最新推荐文章于 2025-05-27 18:00:01 发布
最新推荐文章于 2025-05-27 18:00:01 发布
阅读量2.4k 收藏 20
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 笔记 文章标签： tensorflow 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Sciws/article/details/125290718
博主在尝试在配备y9000p、Win11系统和3060显卡的电脑上安装不同版本的Python、CUDA和cuDNN以及tensorflow-gpu时遇到loss为nan或数值异常的问题。即使使用CPU运行tensorflow或者在服务器上使用GPU运行都是正常的，这排除了学习率、模型和数据集的潜在问题。经过一天的排查，最终发现问题是由于Win11系统或显卡与CUDA的兼容性导致。解决方法是将环境配置为python=3.8、CUDA=11.3、cuDNN=8.2.1和tensorflow-gpu=2.7.0，问题得到解决。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

首先说下我的电脑是有y9000p，win11系统，3060显卡

之前装了好几个版本都不行 。

python=3.6 CUDA=10.1 cuDNN=7.6 tensorflow-gpu=2.2.0或者2.3.0

python=3.8 CUDA=10.1 cuDNN=7.6 tensorflow-gpu=2.3.0

都出现了loss一直为nan，或者loss，accuracy数值明显不对的问题

尝试了一下用CPU tensorflow跑是正常的，并且也在服务器上用GPU跑了显示正常，说明不是学习率，网络模型，数据集等的问题。

从上图可以看到loss和accuracy的值明显是有问题的

查找了一天博客也没找到解决方法。最后试了下重装了一个以下配置的环境，问题解决成功运行。

python=3.8 CUDA=11.3 cuDNN=8.2.1 tensorflow-gpu=2.7.0

 

 

分析了一下问题可能是win11系统的问题，也可能是显卡与CUDA的兼容问题

当训练过程中 loss 不下降时，可能的原因有哪些？（面试题200合集，高频、实用）
qq_38334677的博客
05-12 1143
当模型在训练过程中损失函数（Loss）不再下降，或者下降非常缓慢，甚至出现上升或剧烈震荡的情况时，这表明训练过程遇到了问题。这是一个在机器学习项目调试中非常常见的现象，其背后可能的原因多种多样，可以从数据、模型、优化器、超参数设置以及代码实现等多个层面进行分析。
基于华为自研NPU Ascend 910的TensorFlow 1.x训练脚本迁移和使能混合精度记录
qq_40679625的博客
05-30 2287
简介 基于 TesorFlow 1.x 以 Sess.run 形式搭建入门级——手写数字分类网络，并迁移到 华为自研NPU Ascend 910，同时使能混合精度。 硬件介绍 华为自研 NPU Ascend 910，即昇腾 910 AI 处理器（简称NPU），根据官方介绍，是在2019年发布的人工智能（AI）专用的神经网络处理器，其算力高达256T，最新款算力高达310T，是业界主流芯片算力的2倍。当前业界大多数训练脚本基于 TensorFlow 的 Python API 开发，默认运行在 CPU/GPU/
学习日记：tensorflow版本差异遇到的问题
weixin_52017773的博客
03-13 2694
网上很多的开源代码所用的库的版本都是tensorflow1.x的，跟tensorflow2.0里面的内容完全不匹配，以下是我在学习中遇到的一些版本差异带来的问题 1.调用库时遇到的问题 下面是一段代码： from keras.optimizers import SGD,RMSprop,Adam 在tensorflow2.x版本上会报错，表示在keras中找不到这些函数 其实原因是tensorflow2.x版本兼容了keras，需要进行修改 from tensorflow.keras.opti
关于TensorFlow-gpu出现nan原因
Lu_Home的博客
03-27 1602
当我使用CPU跑程序的时候，结果的LOSS正常输出，但是当我改成使用GPU时，我的loss显示为nan。 但是我的输出图片是可以输出的，程序也是可以运行的，说明问题出现在loss函数这一部分。查阅资料后发现，TensorFlow-gpu版不支持双星号（**）运算，所以在损失计算时，返回的数组就会变成nan。 于是我就去找我的loss的这一部分代码，发现确实有双星号的存在。 于是我就把双星号去掉，改成最原始的样子（src-dst）*(src-dst)，结果loss就可以正常输出。 有可能GP.
记录：训练过程中可训练参数出现nan和inf造成loss为nan
最新发布
m0_56243424的博客
05-27 470
文章摘要：作者在训练模型时遇到loss出现NaN的问题，通过逐步排查发现可训练参数出现inf/nan。尝试降低学习率、统一运算精度（改为fp16）均无效，关闭tf32计算后问题依旧。最终解决方案是将参数初始化为fp32但在前向计算时转换为fp16，成功避免了数值溢出。关键教训：模型训练时应避免直接使用fp16精度，以防数值不稳定导致溢出问题。（148字）
Tensorflow训练网络出现了loss = NAN解决方案
123
10-19 1635
注：内容来源与网络 最近用Tensorflow训练网络，在增加层数和节点之后，出现loss = NAN的情况，在网上搜寻了很多答案，最终解决了问题，在这里汇总一下。 数据本身，是否存在Nan,可以用numpy.any(numpy.isnan(x))检查一下input和target 在训练的时候，整个网络随机初始化，很容易出现Nan，这时候需要把学习率调小，可以尝试0.1，0.01，0.001，...
Tensorflow编程问题-Loss Nan
qq_40676033的博客
12-05 320
1、在分类问题中，我们经常使用到交叉熵损失函数，需要注意的是：由于交叉熵损失函数里有对数计算，因此对数的真数部分不能为0，所以我们在计算计算交叉熵时需要给这个真数部分限定一个范围，否则会出现数值下溢的问题，我们可以采取的办法是使用tf.clip_by_value(input,min_value,max_value)函数来限定真数的下限； 2、另一种情况是在训练开始时后出现损失函数值为nan，这种情况一般是由于学习率太大，我们需要减小学习率；或者是在训练一段时间后出现nan，这种情况可能是由于梯度爆炸导致的
模型训练损失为nan的解决办法-GPU的影响
q43956的博客
07-13 372
模型训练损失为0的解决办法
卷积神经网络中loss值为nan的问题（已解决）
热门推荐
gaoyue5511的博客
09-04 1万+
卷积神经网络中loss值为nan的问题 最近一直在学习AI方面的东西。想自己搞一个类似MINST的东东，用搞基神经网络 ，样本用自制的样本……然鹅理想是骨感的，现实是永远吃不上饭的。经过与各种错误轮战后，出现了更大的错误：loss为nan 先上代码吧，比较乱，建议摘了眼镜看： 首先是整体代码： import os import glob from skimage import io,...
TensorFlow+FaceNet+训练模型
qq_45312141的博客
05-07 3544
TensorFlow+FaceNet+训练模型1、目录结构介绍2、模型准备1、下载FaceNet源码2、下载预训练模型3、运行人脸比对程序（compare.py）二级目录二级目录二级目录三级目录 1、目录结构介绍 漏了一个文件件介绍就是models，这个文件夹下面放的是facent采用的CNN卷积中不同网络结构的不同实现代码比如Inception-ResNet-v1. 2、模型准备 1、下载Fa...
【Tensorflow快速上手】手写数字识别现成代码每行都有注释、自定义损失函数、自定义训练步骤train_step、早停预防过拟合
星云
08-04 1248
BP算法 LeNet-5 LeNet-5是最早的卷积神经网络之一，用作快速识别手写数字。论文提出的卷积层、池化层的概念，也提到MNIST数据集 环境 Cuda compilation tools, release 11.2, V11.2.152 Build cuda_11.2.r11.2/compiler.29618528_0 Python 3.8.10 tensorflow-gpu 2.5.0 MNIST数据集 代码 #!~/.conda/envs python # -*- coding: utf-.
爬坑tensorflow多gpu并行训练时loss为nan
PanYHHH的博客
06-05 2247
一、前言 有关tensorflow多gpu分布式的知识点介绍可以参考这篇博客，本文主要是记录一下自己训练时遇到的几个易错点，代码使用的分布式策略是数据并行中的同步方式。 文章最后会放上完整代码，包括训练及在训练过程中验证的过程。 二、易错点 1. 数据划分不当导致loss为nan 划分数据到不同的gpu上的代码片段如下: inputs = tf.placeholder(tf.float32, [None, image_size, image_size, 3]) labels = tf.plac
tensorflow训练神经网络时loss出现nan的问题
Moelimoe的博客
07-26 1921
tensorflow训练神经网络时loss出现nan的问题 一般情况下原因是由于优化器上的学习比率learning_rate定义值太大，如： train_step = tf.compat.v1.train.GradientDescentOptimizer(0.1).minimize(loss) 运行打印loss： for i in range(100): sess.run(train_...
GPU上运行基于bert的分类任务训练loss为nan
u010483897的博客
12-14 1124
GPU上运行基于bert的分类任务训练loss为nan
tensorflow训练时loss出现nan问题
zhayushui的专栏
07-01 3368
第一步： 把loss进行拆分，打印loss相关的值 total_loss,xy_loss,wh_loss,obj_loss,noobj_loss,class_loss = loss_fn(label, output) tf.print(['loss:xy=',xy_loss,',wh=',wh_loss,',obj=',obj_loss,',noobj=',noobj_loss,',cls=',...
【无标题】tensorflow中损失值出现Nan
m0_63042507的博客
03-10 627
在训练的过程中出现损失值为nan，可能是是由于学习率太大，需要减小学习率；或者是在训练一段时间后出现nan，这种情况可能是由于梯度爆炸导致的，可以对梯度进行裁剪，将梯度的最大值限定在某个常数。可以给对数运算的真数部分限定一个范围，否则会出现数值下溢的问题，可以使用tf.clip_by_value(input,min_value,max_value)函数来限定真数的下限。检查代码中是否存在 取对数运算，因为对数的真数部分不能为0，有0在取对数会报错。在训练的过程中出现预测值为nan，可能是数据异常。
GPU训练loss不下降，CPU正常
luckyqiong
03-20 1926
数据并行机制相关
tensorflow问题--KeyError: ‘accuracy’ 和RuntimeError: __iter__() is only supported inside of tf.function
mqqgd818的博客
01-05 2205
问题描述： 在运行霹雳吧啦Wz老师用tensorflow实现的Alexnet代码时，出现下面的错误： train_accuracy = history_dict["accuracy"]KeyError: ‘accuracy’ 原因分析： 由于keras库版本不同所造成的 解决方案： 将参数accuracy替换为acc，将参数val_accuracy改为val_acc 已解决~ 参考链接： https://blog.youkuaiyun.com/weixin_42497252/article/det..
yolov11训练自己的模型的不走
01-03
当前存在一些混淆之处，因为提到的是 YOLOv11 而实际上最新的公开版本为 YOLOv8。假设意图是询问有关最新版YOLO（即YOLOv8）在训练自定义模型时可能遇到的问题及其解决方案，则可以提供如下信息。 ### 关于YOLOv8训练自定义模型 #### 数据集准备 对于想要利用YOLOv8框架来训练自己的数据集而言，确保数据集按照特定格式准备好至关重要[^1]。这通常意味着图像文件需放置在一个目录下，并且每张图片都应有一个对应的标签文件(.txt)，其中每一行代表一个边界框以及所属类别编号。此外，还需要创建`train.txt`和`val.txt`两个列表文件，它们分别记录用于训练和验证阶段的所有图片路径。 #### 修改配置文件 当调整预设好的YOLOv8网络结构以适应新的任务需求时，往往需要编辑`.cfg`配置文档中的某些超参数设定。这些改动应当考虑目标物体尺寸范围、硬件资源限制等因素的影响[^2]。例如，在多GPU环境下运行程序之前，应该适当增加batch size大小；如果发现内存不足的情况，则可尝试减少输入分辨率或是降低该数值。 #### 常见错误处理方法 - **CUDA out of memory**: 减少批量大小(batch size)或裁剪图片尺寸。 - **Loss diverging to NaN/Inf**: 检查学习率是否过高，必要时减半重试。 - **Model accuracy not improving over epochs**: 尝试引入更多样化的增强手段(augmentation techniques), 或者重新审视标注质量。 ```python import torch from ultralytics import YOLO model = YOLO('yolov8n.yaml') # Load model configuration results = model.train(data='custom_dataset/', imgsz=640, batch=-1, epochs=100) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值