tensorflow GPU训练loss与val loss值差距过大问题

最新推荐文章于 2025-12-12 17:26:19 发布
原创 最新推荐文章于 2025-12-12 17:26:19 发布 · 304 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#tensorflow #人工智能 #python

部署运行你感兴趣的模型镜像

问题

最近在ubuntu gpu上训练模型，训练十轮，结果如下

epoch,loss,lr,val_loss
200,nan,0.001,nan
200,0.002468767808750272,0.001,44.29948425292969
201,0.007177405059337616,0.001,49.16984176635742
202,0.012423301115632057,0.001,49.30305862426758
203,0.019116541370749474,0.001,48.27520751953125
204,0.02645580656826496,0.0005,48.38237762451172
205,0.03023119457066059,0.0005,48.2923469543457
206,0.034110430628061295,0.0005,48.55632781982422
207,0.03898066654801369,0.00025,48.616432189941406
208,0.04163944348692894,0.00025,48.568756103515625
209,0.04249056056141853,0.00025,48.68966293334961

发现loss只有0.0几，而val loss达到了四十多，而我是在已经训练好的模型的基础上，使用新的数据集，继续训练的，差距这么的大，肯定不是模型过拟合，这明显是有异常的，但是我在CPU上训练，结果val和val loss都是-15左右，同样的代码和数据，为什么会出现这么大的差异呢。

解决方案

原因：是因为我用的tensorflow 2.2版本+cuda10.1，而GPU是3090，cuda版本和gpu不适配，需要升级cuda，因此我使用tensorflow 2.4+cuda 11.0后，训练就正常了，

解决方法是在github上看见的
here
在这里插入图片描述

您可能感兴趣的与本文相关的镜像

GPT-oss:20b

GPT-oss:20b

图文对话
Gpt-oss

GPT OSS 是OpenAI 推出的重量级开放模型，面向强推理、智能体任务以及多样化开发场景

LXJSWD
关注
Keras深度学习框架第十四讲：使用TensorFlow进行多GPU分布式训练
MUKAMO的博客
05-19 1885
在进行TensorFlow分布式训练时，优化数据加载是关键。使用tf.data.Dataset对象加载数据，确保数据按全局批量大小进行批处理。使用dataset.cache()将数据缓存至内存或本地文件以加快迭代速度。dataset.prefetch(buffer_size)使数据预取与模型训练异步进行，减少延迟。此外，使用ModelCheckpoint回调定期保存模型以实现容错性。这些技术结合使用，可显著提高分布式训练的效率和性能。
tensorflow使用GPU训练
热门推荐
ftfy123的博客
03-04 1万+
1. 查看gpu的使用详情： （1）查看gpu使用情况 nvidia-smi.exe # windows上 nvidia-smi -l #linux服务器上 # 显示的结果中 Volatile GPU-Util：浮动的GPU利用率； （2）linux上查看进程占用gpu的情况： ##实用技巧： ##如果你在linux终端运行深度学习python脚本文件，运行中发现占用多个GPU和内存...
解决tensorflow-gpu版本训练loss一直为nan，或者loss，accuracy数值明显不对问题
Sciws的博客
06-15 2477
首先说下我的电脑是有y9000p，win11系统，3060显卡之前装了好几个版本都不行 。python=3.6 CUDA=10.1 cuDNN=7.6 tensorflow-gpu=2.2.0或者2.3.0python=3.8 CUDA=10.1 cuDNN=7.6 tensorflow-gpu=2.3.0都出现了loss一直为nan，或者loss，accuracy数值明显不对的问题尝试了一下用CPU tensorflow跑是正常的，并且也在服务器上用GPU跑了显示正常，说明不是学习率，网络模型，数据集等的
爬坑tensorflow多gpu并行训练时loss为nan
PanYHHH的博客
06-05 2306
一、前言 有关tensorflow多gpu分布式的知识点介绍可以参考这篇博客，本文主要是记录一下自己训练时遇到的几个易错点，代码使用的分布式策略是数据并行中的同步方式。 文章最后会放上完整代码，包括训练及在训练过程中验证的过程。 二、易错点 1. 数据划分不当导致loss为nan 划分数据到不同的gpu上的代码片段如下: inputs = tf.placeholder(tf.float32, [None, image_size, image_size, 3]) labels = tf.plac
Tensorflow 3. 训练过程，出现loss=NAN的问题？
andersonxie的博客
04-17 9806
  ① 问题可能原因：  1. 如果在迭代的100轮以内，出现NaN，一般情况下的原因是因为学习率过高，需要降低学习率。我们可以不断降低学习率直至不出现NaN为止，一般来说低于现有学习率1→10倍即可；  2. 如果当前的网络是类似于RNN的循环神经网络的话，出现NaN可能是因为梯度爆炸的原因，一个有效的方式是增加“gradient clipping”（梯度截断来解决）；  3. 可能用0作为了除...
【踩坑大全】TensorFlow的Loss出现Nan原因分析及解决方案
weixin_51352126的博客
12-02 548
TensorFlow出现Nan原因及解决方案
tensorflow 多GPU训练
fws920910fws的博客
02-20 4961
使用多块GPU训练多个算法 不同算法在不同GPU上训练（实质上还是 单GPU--->单算法）以上方法实现的是控制GPU的使用情况多GPU并行训练单个算法数据并行demo 不同算法在不同GPU上训练（实质上还是 单GPU—>单算法） 使用GPU跑tensorflow程序，默认加载所有的GPU，但计算过程中只会用其中一块。也就是说，我们看着所有的GPU都被占用了，以为是在GPU并行计算，但...
研究total loss与val loss以及预训练权重
m0_63172128的博客
03-28 3993
的损失值。（测试集）整体的损失值。我们在训练的一个模型的时候，我们都会把一个样本划分成训练集、验证集。一般来说，我们按照 训练集：验证集==9:1 来划分，那么当我们在训练模型计算出来的loss值就会分为：训练集总体total loss 和 测试集val loss。
Tensorflow-GPU使用时笔记本电脑声音过大的问题
qq_40431912的博客
02-22 2044
Tensorflow-GPU使用时声音过大的问题 由于刚开始学习tensorflow，安装的是CPU模式，经过一番努力（一个下午各种查资料安装），总算安装了Tensorflow-GPU版本，但在跑神经网络程序时（Lenet -5 神经网络，batch_size=100），发现运行一分钟多后，笔记本电脑发出滋滋响声，而且声音极大，感觉要炸了的那种，应该是电脑硬件原因，高性能电脑自动忽略。解决办法如下...
tensorflow多gpu训练
m0_73817310的博客
10-24 353
tensorflow多gpu训练
如何使用WSL2搭建基于Tensorflow GPU的深度学习环境？
cda2024的博客
05-16 915
相信我，这不仅能让你更高效地进行实验和开发，还能为你的职业生涯增添不少亮点，特别是在追求成为。WSL2是一个相对较新的功能，因此你需要确保操作系统是最新的。Ubuntu是最受欢迎的选择之一，它拥有强大的社区支持以及良好的兼容性。数据分析师不仅需要扎实的专业知识，还需要具备解决实际问题的能力一样，搭建这样一个高效的深度学习环境同样离不开细致入微的操作和不断积累的经验。数据分析师不仅需要扎实的专业知识，还需要具备解决实际问题的能力一样，搭建这样一个高效的深度学习环境同样离不开细致入微的操作和不断积累的经验。
tensorflow 如何使用 tf.RaggedTensorSpec 来创建 RaggedTensor
servepeople的博客
12-12 728
文章摘要：tf.RaggedTensorSpec 并非直接创建 RaggedTensor 的工具，而是用于描述其规格（形状、数据类型、不规则维度数量）。创建 RaggedTensor 需使用 tf.ragged.constant 或 tf.RaggedTensor.from_tensor 等构造器，并确保符合 Spec 定义的约束。主要步骤包括：1）定义目标规格；2）按规格创建 RaggedTensor；3）验证匹配性；4）在 tf.function 等场景中应用 Spec 约束。注意避免混淆规格描述与张量
tensorflow 零基础吃透：tf.function 与 RaggedTensor 的结合使用
servepeople的博客
12-12 692
摘要：本文介绍了TensorFlow中tf.function与RaggedTensor的结合使用方法。tf.function能将Python函数编译为计算图，提升执行效率，而RaggedTensor可以透明兼容tf.function，无需修改函数逻辑。文章通过三个场景演示：1) tf.function对RaggedTensor的透明支持；2) 使用tf.RaggedTensorSpec指定输入签名；3) 具体函数(Concrete Function)与RaggedTensor的高效结合。关键点包括：TF自动
TensorFlow 中不规则张量（RaggedTensor）
servepeople的博客
12-09 735
摘要：TensorFlow中的不规则张量（RaggedTensor）专门处理非均匀长度数据，允许同一维度下元素长度不一致（如[[3,1,4,1], [], [5,9,2]]）。它适用于可变长度特征、批量序列、分层数据等场景，支持100+原生运算（数学、数组、字符串操作等）。关键特性包括Python风格索引、算术重载、自定义转换，并能与Python列表/NumPy互转。RaggedTensor解决了普通张量必须固定形状的限制，无需填充即可保留原始数据结构，兼容大多数TF运算，学习成本低。
tensorflow不规则张量（RaggedTensor）的存储约束
servepeople的博客
12-09 388
摘要：RaggedTensor允许同一维度长度可变，但必须满足两个硬性约束：1) 所有元素数据类型必须统一（如全为字符串或整数）；2) 嵌套深度（秩）必须一致（如全为二维或三维）。合法示例如二维字符串或三维整数张量，即使各维度长度不同。非法情况包括混合数据类型（如字符串+整数）或混合嵌套深度（如一维+二维），会触发ValueError。RaggedTensor的"不规则"仅指维度长度可变，类型和结构仍需统一以保证运算可行性。（150字）
TensorFlow 不规则张量（RaggedTensor）的两种核心构造方式
servepeople的博客
12-09 696
摘要：本文介绍了TensorFlow中构造不规则张量(RaggedTensor)的两种方法。第一种是直接使用tf.ragged.constant，适用于已有嵌套列表/数组的情况，系统会自动识别可变长度结构。第二种是工厂方法，通过扁平值列表配合行分区规则(如行号、行长度或起止索引)来构建，适用于数据扁平存储的场景。文中详细拆解了两种方法的实现逻辑、适用场景和具体示例，并比较了它们的优缺点：直接法简单直观但依赖嵌套数据，工厂法更灵活但需额外定义分区规则。最后强调了系统自带的校验机制和性能优化选项。
tensorflow 零基础吃透：RaggedTensor 与其他张量类型的转换
最新发布
servepeople的博客
12-12 718
本文详细介绍了RaggedTensor与TensorFlow其他张量类型（密集张量和稀疏张量）之间的转换方法。主要内容包括： RaggedTensor转密集张量：使用to_tensor()方法填充默认值，适用于需要固定形状输入的场景 密集张量转RaggedTensor：使用from_tensor()方法剔除填充值，恢复可变长度结构 RaggedTensor转稀疏张量：使用to_sparse()方法仅存储非空元素，节省内存 稀疏张量转RaggedTensor：使用from_sparse()方法转换为可变长度结
tensorflow 核心解析：tf.RaggedTensorSpec 作用与参数说明
servepeople的博客
12-12 173
tf.RaggedTensorSpec是TensorFlow中描述不规则张量(RaggedTensor)规格的类，用于定义输入签名。它通过shape、dtype和ragged_rank三个参数指定张量约束：shape定义整体形状框架，dtype指定数据类型，ragged_rank表示不规则维度数量。例如，shape=[2,None,None]表示外层固定2个元素，内层可变；ragged_rank=2表明第1、2维是不规则维度。该规格可用于tf.function输入签名、Keras模型输入层和SavedMod
tensorflow 零基础吃透：RaggedTensor 的重载运算符
servepeople的博客
12-12 548
用法和普通Tensor完全一致，学习成本低；保留RaggedTensor的可变长度结构，无冗余补0，计算效率高；支持广播规则，覆盖绝大多数基础数学/比较场景。只要普通Tensor能做的运算符操作，RaggedTensor都能做，且结果保持行长度不变。
yolo训练train_loss 和 val_loss 一开始为 nan
08-13
在YOLO训练过程中，`train_loss` 和 `val_loss` 初始为 `NaN`（Not a Number）通常表示训练过程中出现了数值不稳定的情况。这种情况可能由多种原因引起，以下是一些常见的原因及相应的解决方法。 ### 数据问题 1. **标注错误**：如果训练数据中存在错误的标注，例如边界框坐标超出图像范围、标注框的宽高为负数等，会导致损失函数计算时出现 `NaN` 值。 - **解决方法**：检查并清理训练数据，确保标注文件中的边界框坐标正确无误。 2. **数据预处理错误**：在数据增强或预处理过程中，可能会出现数值溢出或除以零的操作，从而导致 `NaN`。 - **解决方法**：检查数据增强和预处理代码，确保所有操作都是数值稳定的。 ### 模型初始化问题 1. **权重初始化不当**：如果模型的权重初始化不当，可能会导致早期训练阶段的梯度爆炸或消失，从而产生 `NaN`。 - **解决方法**：使用合理的权重初始化策略，例如 He 初始化或 Xavier 初始化。 ### 学习率设置不当 1. **学习率过高**：过高的学习率可能导致优化器在参数空间中跳跃过大，导致损失函数值不稳定。 - **解决方法**：尝试降低学习率，或者使用学习率调度器动态调整学习率。 ### 数值精度问题 1. **FP16 训练问题**：某些情况下，使用 FP16 精度进行训练可能导致数值不稳定，尤其是在 GPU 内存有限的情况下。 - **解决方法**：注释掉强制使用 FP16 的代码行，避免在验证过程中使用 FP16 精度[^4]。例如： ```python # self.args.half = self.device.type != 'cpu' # force FP16 val during training ``` ### 损失函数问题 1. **损失函数实现错误**：损失函数的实现中可能存在数值不稳定的操作，例如对数函数的输入为零或负数。 - **解决方法**：检查损失函数的实现，确保所有数学操作都是数值稳定的。 ### 调试建议 1. **打印中间输出**：在训练过程中打印模型的中间输出，可以帮助定位问题的来源。 2. **逐步调试**：从一个简单的模型和数据集开始，逐步增加复杂性，以确定问题出现的具体环节。 通过以上方法，可以有效解决 YOLO 训练过程中 `train_loss` 和 `val_loss` 初始为 `NaN` 的问题。确保数据和模型的稳定性是关键步骤。 ```python # 示例代码：检查并清理标注数据 def check_bounding_boxes(annotations): valid_annotations = [] for annotation in annotations: x_min, y_min, x_max, y_max = annotation['bbox'] if x_min < 0 or y_min < 0 or x_max > annotation['image_width'] or y_max > annotation['image_height']: continue # 跳过无效标注 valid_annotations.append(annotation) return valid_annotations ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值