SFT训练时，损失LOSS一直为0的问题解决方案

最新推荐文章于 2025-02-18 15:07:36 发布
最新推荐文章于 2025-02-18 15:07:36 发布
阅读量781 收藏 6
点赞数 6
CC 4.0 BY-SA版权
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lin_c_lin/article/details/145616003

UserWarning: Could not find response key `[/INST]` in the following instance: [INST] ...


在微调模型的时候遇到该问题，log文件如下：
This instance will be ignored in loss calculation. Note, if this happens often, consider increasing the max_seq_length.
warnings.warn(/home/wanglinjie/anaconda3/envs/chatkbqa/lib/python3.9/site-packages/trl/trainer/utils.py:110: UserWarning: Could not find response key [/INST] in the following instance: [INST] << SYS>><< SYS>>

找到的解决方案：

  1. https://github.com/huggingface/trl/issues/980
  2. https://discuss.huggingface.co/t/zero-loss-while-finetuning-llama2-usin-sft-trainer-and-the-use-of-collator/63831

这两个都提出，将collator进行修改：
变成response_template = “Answer: [/INST]”
collator = DataCollatorForCompletionOnlyLM(tokenizer.encode(response_template, add_special_tokens = False)[2:], tokenizer=tokenizer)

原因：
在NLP

最低0.47元/天 解锁文章

200万优质内容无限畅学
增量学习中的灾难性遗忘问题：原理与解决方案
加入“Super Entity”，与全能开发团队共探AI智能体与数字人项目，开启前沿技术之旅。
04-16 242
在增量学习中，模型需要不断适应新任务和新数据，但同时又要保留之前学习到的知识。然而，一个常见的问题是灾难性遗忘（Catastrophic Forgetting）。当模型接触到新任务时，它可能会忘记之前任务的知识，导致性能大幅下降。本文将详细介绍灾难性遗忘的原理、原因、解决方案，并通过代码示例展示如何缓解这一问题。灾难性遗忘是指在增量学习过程中，当模型被训练以适应新任务时，它可能会忘记之前任务的知识。
损失函数一直不变_【知识星球】softmax损失相关的小问题
weixin_39531780的博客
11-26 835
欢迎大家来到《知识星球》专栏，这里是AI1000问小专题。作者&编辑 | 言有三 1 Softmax相关的问题Softmax在图像分类，分割任务中是很常见的，关于它有些常见的小问题，供大家思考学习。有三AI1000问-机器学习篇为什么分类任务softmax损失输入是2通道，sigmoid损失是1通道想必大家都玩过图像分类了，为什么同样是2分类任务，softmax损失函数的输入是...
【踩坑记录】torch.nn.CrossEntropyLoss计算损失一直为0
qq_44419614的博客
03-05 1020
当torch.nn.CrossEntropyLoss收到二维矩阵或者高维矩阵时，返回值就为0！
深度学习中Loss突然变为0的解决方法
Alden He
02-17 1万+
在深度学习中，在网络模型，优化器，损失函数均正确的情况下，可能在训练过程中会发生loss为nan的情况，这种情况下可能的一种原因是输入数据存在nan的情况，如果在数据量很多的情况下，可以通过以下方法来修正 假设我们读取的array为a import numpy as np def read(): arr=np.array([[1,2,3],[4,5,nan]]) whereisnan=np.i...
训练的LOSS一直为0
热门推荐
qq_34661230的博客
03-07 3万+
http://www.cnblogs.com/sddai/p/8526955.html TensorFlow训练神经网络cost一直为0 问题描述 这几天在用TensorFlow搭建一个神经网络来做一个binary classifier，搭建一个典型的神经网络的基本思路是： 定义神经网络的layers(层)以及初始化每一层的参数 然后迭代： 前向传播（Forward propagation） 计...
FPN+Faster_Rcnn调试，fast_rcnn_location_loss一直为0？
qq_32689925的博客
03-04 968
如题，调试FPN+fastrcnn源码，tensorflow版本，过程中fast-rcnn_location_loss，一直为0。经过分析，初始过程，rpn网络推荐的box在fast rcnn阶段跟gtbox对比时没有positive样本，这时候，rcnn_location_loss为0是合理的。但网络训练一直进行，无论怎么调整，依然一直为0，就难以理解来。 无奈之中，一步步调试，取出fast-r...
LLaVA finetune.sh中loss一直为0的问题解决记录
m0_56711618的博客
01-15 486
使用finetune.sh做微调遇到loss经过两三条后一直保持0的情况,{'loss': 0.0, 'learning_rate': 2.631578947368421e-06, 'epoch': 0.0}
PaddlePaddle训练过程中损失值突然全部为0
PaddlePaddle
02-01 2959
关键字：损失值，梯度消失 问题描述：使用卷积神经网络在训练MNIST数据集时，在训练过程中损失值突然为0，并且识别准确率开始下降。 报错信息： Pass:0, Batch:0, Cost:1.41644, Accuracy:0.16406 Pass:0, Batch:100, Cost:0.00000, Accuracy:0.07812 Pass:0, Batch:200, Cos...
使用 llamafatcroy 微调SFT训练 损失一点都没有出来
最新发布
03-01
好的，我现在需要帮用户解决使用llamafactory进行SFT训练时损失没有下降的问题。首先，用户提到的“损失一点都没有出来”可能指的是损失值没有变化，或者一直很高，甚至为零，这显然说明训练过程中存在问题。 首先...
LLM预训练与SFT数据配比调研
AIBigModel的博客
10-14 1279
Pile数据集包含24%的网络数据，9%维基百科，4%Github等。（这个百分比，是按照Tokens数统计划分的）目前还不清楚每个领域是如何影响LM的预训练效果以及下游任务表现。Pile是人工选择的配比，PaLM和GLaM(2021年的工作)是依赖下游任务来选择数据配比的。DoReMi的目标是寻找一个数据配比，在不知道下游任务的情况下，在所有下游上表现都很好。提出excess loss超额损失的概念，代表 参考模型（以平均混比方式训练）和 混比模型（以特定混比数据训练）的loss差额。
DeepSeek 训练提到的Auxiliary-Loss-Free Load Balancing是什么？
日常学习与专研的记录
02-18 1823
本文介绍DeekSeek 的MOE涉及到的Auxiliary-Loss-Free Load Balancing方法。
神经网络训练精度一直为1，损失为0
qq_37921925的博客
05-12 5823
**错误：**最近在复现同事的项目时，发现从第一次迭代到结束训练，网络精度基本为1，损失基本为0。 **原因：**检查了相关文档，发现在制作标签文档时将标签相同数据写在了一起，导致前期读入数据时全是一个标签，误导了模型。 **解决：**因此，为了保证模型效果，在准备训练集时，相关的内容尽量打乱后再放入网络。 random.shuffle(data) ...
深度学习loss值变为0_TensorFlow2.0深度学习算法实践1-感知器模型
weixin_39622225的博客
12-04 765
第一章感知器模型闫涛北京动维康科技有限公司北京{yt7589}@qq.comAbstract在本章中我们将向大家介绍感知器模型，感知器模型是一种最简单的神经网络，但是却是现代深度学习技术的基础。在本章中，我们先介绍感知器模型的数学原理，然后我们用 python来实现感知器模型，并以 iris数据集来介绍感知器模型的实战应用。1 概述神经网络的发展最初是受大脑的启发而产生的，感知器模型就直接来源于神...
yolov3训练loss为0
jacke121的专栏
04-01 1万+
总结一下，loss为空就是没有标签，数据的问题。经过调查发现，是因为labels中文件为空是因为voc_label.py中的 classes 与数据中标签没有对上，所以labels中文件都为空，classes修改为自己的就可以了代码如下：import xml.etree.ElementTree as ET import pickle import os from os import listdir...
使用全连接神经网络loss为0的问题
qq_35535616的博客
12-14 6456
之前的使用低氧舱对滞后时间估计的模型中，计算loss时出现了全为0的情况。 训练结果如图所示：分别 分别为权重参数和loss。 检查代码发现，一直到第一个隐藏层都没有任何问题。 问题出在了下面一行代码上： loss = tf1.reduce_mean(tf1.nn.softmax_cross_entropy_with_logits_v2(logits=net1_out,labels = y )) 问题原因转自： http://www.cnblogs.com/sddai/p/8526955.html 定义神
YOLOv6有两个损失一直为0解决办法
m0_74136460的博客
05-12 645
文件train：需要含有图片和标签。文件val：需要含有图片和标签。
loss训练时的不下降、nan或者为0
shY Pa
07-16 6025
1、loss不下降： https://blog.youkuaiyun.com/qq_19329785/article/details/84260201 https://blog.youkuaiyun.com/zongza/article/details/89185852 https://blog.youkuaiyun.com/liuweiyuxiang/article/details/80856991 2、检测中faster...
Lora微调Yi-6B第一个step后loss突变为0
2303_79373719的博客
07-07 1154
由于模型学习的是回答问题，不需要去拟合问题的语言，所以我们只计算responce部分的loss，而不计算prompt的部分的loss。1. 查看label的设置，通常在dataloader的data_collator参数中会有涉及，将label设为-100的地方去掉（这里说的是自己设置的-100，hugging face中的函数会将特殊token mask掉，这个不用去掉）哪怕在一个样本中，模型的输出和训练集的结果完全一致几乎不可能。在微调大语言模型的时候，loss是我们判断模型训练效果的一大重要指标。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值