finetuning出现问题： loss 为Nan的情况

最新推荐文章于 2025-05-27 18:00:01 发布
最新推荐文章于 2025-05-27 18:00:01 发布
阅读量931 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 机器学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/cuifan0814/article/details/80434140
本文探讨了数据处理中的两个关键问题：一是原始数据中是否存在缺失值（Nan）；二是计算过程中是否会遇到除数为0或log(0)等情况，这些问题直接关系到数据处理的有效性和准确性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1.      数据中本身是否包含Nan 的数据

2.      计算过程是否可能出现 除数是0 的情况 或 log(0) 情况等

 

LLMs之ChatGLM2：基于ChatGLM Efficient Tuning(微调工具包)实现对ChatGLM2进行LoRA微调(CLI/GUI【text-generation-webui】)并进
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
08-27 3795
​ LLMs之ChatGLM2：基于ChatGLM Efficient Tuning(微调工具包)实现对ChatGLM2进行LoRA微调并进行推理测试图文教程之详细攻略 目录 1、硬件要求和Python依赖 2、代码和模型权重下载 3、基于微调工具包实现模型训练与推理 1、硬件要求和Python依赖 硬件要求 模型部署电脑硬件要求： FP16半精度-13GB显存 INT8量化 -10GB显存 INT4量化 -6GB 显存 也可以选择CPU部署，甚至可
神经网络模型loss不收敛、不下降问题汇总
科研学习笔记！
01-06 2万+
一、模型不收敛 主要有以下几个原因： 1.learning rate设大了会带来跑飞（loss突然一直很大）的问题 这个是新手最常见的情况——为啥网络跑着跑着看着要收敛了结果突然飞了呢？可能性最大的原因是你用了relu作为激活函数的同时使用了softmax或者带有exp的函数做分类层的loss函数。当某一次训练传到最后一层的时候，某一节点激活过度（比如100），那么exp(100)=Inf，发...
模型训练中出现loss为NaN怎么办？
Thomas_Cai的记忆殿堂
07-18 5670
模型训练中出现loss为NaN原因
loss值为NaN（Not a Number）
weixin_44245188的博客
06-25 1147
在PyTorch训练深度学习模型时，有时会遇到loss值为NaN（Not a Number）的情况。这通常是由于某些计算过程中出现了无穷大或非数字值导致的。
记录：训练过程中可训练参数出现nan和inf造成loss为nan
最新发布
m0_56243424的博客
05-27 481
文章摘要：作者在训练模型时遇到loss出现NaN的问题，通过逐步排查发现可训练参数出现inf/nan。尝试降低学习率、统一运算精度（改为fp16）均无效，关闭tf32计算后问题依旧。最终解决方案是将参数初始化为fp32但在前向计算时转换为fp16，成功避免了数值溢出。关键教训：模型训练时应避免直接使用fp16精度，以防数值不稳定导致溢出问题。（148字）
Loss变为NaN怎么办？
天渡漫谈
07-07 1万+
在训练网络的时候，当打印出的日志提示loss变为NaN的时候，是不是整个人都开始抓狂了？相信应该每个算法工程师都遇到过这个令人头秃的问题。 本文就是介绍如果遇到loss变成NaN时，如何快速的或者多方面排查原因。 一、训练数据有问题 比如数据集中就有某些特征的某些取值为NaN，或者label缺失。在一个iteration中batch数据如果没问题，loss正常显示；如果不凑巧，batch数据中恰好有NaN或者label缺失，loss就突然变为NaN了。 建议这一步作为排查问题时的Step1。 二、梯度爆.
深度学习网络训练，Loss出现Nan的解决办法
不要给自己设限，尝试更多可能（思所向 皆可往）
04-23 5487
模型的训练不是单纯的调参，重要的是能针对出现的各种问题提出正确的解决方案。本文就训练网络loss出现Nan的原因做了具体分析，并给出了详细的解决方案，希望对大家训练模型有所帮助。一、原因如果在迭代的100轮数以内，出现NaN，一般情况下的原因是你的学习率过高，需要降低学习率。可以不断降低学习率直至不出现NaN为止，一般来说低于现有学习率1-10倍即可。
【机器学习技巧】-训练过程中，loss参数出现NAN怎么解决？解决方案汇总？
小坏蛋的博客
03-26 1万+
深度神经网络在训练过程中，loss参数出现NAN怎么解决？解决方案？
Caffe学习3-使用预训练模型finetuning
阅微草堂的博客
05-09 1万+
该篇陈述了在采用imagenet大数据集合上使用caffenet预训练得到caffemodel，然后应用该caffemodel进一步fintuning图像风格数据库style。下面为主要步骤：#采用别人的预训练模型，在自己的数据库上进行微调（fine-tunning） #fine-tune是应用别人在大数据集合上训练到一定程度的caffemodel，在这进行微调。这比随机化参数要好，因为该模型可能已
LLM显存分析与高效微调方法原理：P-Tuning、LoRA、QLoRA
十里清风
05-12 634
混合精度、训练显存分析、激活显存分析，高效微调方法介绍，如P-Tuning、LoRA等。
人工智能_大模型007_CPU微调ChatGLM大模型_使用P-Tuning v2进行大模型微调_007_微调_002---人工智能工作笔记0142
添柴程序猿的专栏
02-23 568
这里的dev.json指的是,test_file测试数据,然后train_file也就是train.json指的是训练数据。我用的CPU所以没有添加NUM_GPUS,这个变量也是自己起名的,我用的默认的,官网提供的这个文件,然后修改的.这里注意我在/data/module建了两个文件夹,一个是train_output用来放训练后的输出模型的,现在还有langchain可以实现,扩展知识库,这个后面我们再说,我先用P-Tuning V2试试,这里我们先试着训练一下,我们用官方提供的训练数据进行训练.
【深度学习】Loss为Nan的可能原因
passer__jw767的博客
06-11 2555
Loss为Nan的原因分析与解决
loss 为nan???
qq_32799915的博客
06-07 2万+
  在训练的过程中经常会出现loss=NaN的情况，在网上查了查一般做法是减小学习速率或者增大batch_size。尝试了一下减小学习速率，可以解决问题。但是不明白为什么。所以整理了一下loss为nan的问题。 现在依然不清楚为什么减小学习速率会解决这个问题，请各位不吝赐教。 如果一开始loss就为nan, 可以考虑自己的输入是否有问题。 参考：https://stackoverflow....
Pytorch训练模型损失Loss为Nan或者无穷大（INF）原因
热门推荐
ytusdc的博客
02-12 7万+
常见原因-1 一般来说，出现NaN有以下几种情况： 相信很多人都遇到过训练一个deep model的过程中，loss突然变成了NaN。在这里对这个问题做一个总结： 1.如果在迭代的100轮以内，出现NaN，一般情况下的原因是因为你的学习率过高，需要降低学习率。可以不断降低学习率直至不出现NaN为止，一般来说低于现有学习率1-10倍即可。 2.如果当前的网络是类似于RNN的循环神经网络的话，出现NaN可能是因为梯度爆炸的原因，一个有效的方式是增加“gradient clipping”（梯度截断来解决）
Deep Learning 之 训练过程中出现NaN问题
BVL的博客
07-25 1万+
相信很多人都遇到过训练一个deep model的过程中，loss突然变成了NaN。在这里对这个问题做一个总结。 一般来说，出现NaN有以下几种情况： 1.如果在迭代的100轮以内，出现NaN，一般情况下的原因是因为你的学习率过高，需要降低学习率。可以不断降低学习率直至不出现NaN为止，一般来说低于现有学习率1-10倍即可。 2.如果当前的网络是类似于RNN的循环神经网络的话，出现NaN
loss一直为nan
JiaJia
12-30 1103
模型训练时loss一直为nan 解决方法： 1）检查是否安装keras-contrib 安装：pip install git+https://www.github.com/farizrahman4u/keras-contrib.git 2）尝试把后端改为tensorflow 参考https://blog.youkuaiyun.com/Treasure_Z/article/details/788532...
4月27工作总结：loss为nan问题的解决、时间序列数据的加载以及滑动窗口的使用
qq_39785065的博客
04-28 829
工作内容： 一、 在公共数据集中测试自己搭建的一维CNN模型。 二、 刘老师开会教授做PPT技巧，并且自己拿挑战杯PPT进行练手。 出现的问题： 针对一： 在训练过程中出现LOSS为Nan的情况。 解决过程： 针对一： 初步怀疑是学习率lr设置不得当，导致的梯度爆炸，将lr设置为0，发现此问题依旧存在；接下来目光转向数据集，数据集中可能存在空值。将batch_size设置为1，而且dataloader中shuffle参数设置为True，进行训练时观察第几步出现loss为nan的情况，调试进入观察输入值，发现
A100 finetune训练出现 Nan
Hello Word!
03-03 604
A100 pytorch 加载预训练权重，finetune训练了几个epoch之后会 nan如果是从头训练，最终性能只是比 P40性能差点，但不会nan。
深度模型 loss为nan解决方案详解
bitcarmanlee的博客
03-21 2万+
1.loss为nan 深度模型进行训练的时候，经常出现loss为nan的情况。比如某一次训练过程的输出如下： Epoch 1/50 1/303 [..............................] - ETA: 0s - loss: 278.5685 - accuracy: 0.0000e+00 47/303 [===>..........................] - ETA: 0s - loss: nan - accuracy: 0.5745 95/3
transformers_finetuning-0.3.5：PyPI官网Python库云原生分发
资源摘要信息:"PyPI 官网下载的transformers_finetuning-0.3.5.tar.gz文件是一个Python库资源，其全名为transformers_finetuning-0.3.5.tar.gz，专为深度学习的预训练模型微调任务设计。它支持在多种NLP任务中对...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值