【bug解决】Lora微调chatglm6b出现step10后loss持续为0

最新推荐文章于 2025-04-29 15:46:49 发布
最新推荐文章于 2025-04-29 15:46:49 发布
阅读量1k 收藏 4
点赞数 6
文章标签： bug
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_41502855/article/details/137478386
版权

现象：

lora微调过程中出现loss持续为0

 

解决方案：

步骤1，设置fp16=True，后出现报错ValueError: Attempting to unscale FP16 gradients.

步骤2，将peft版本降为0.3.0后，报错消失，loss正常

Yanc_L
关注
大模型知识点汇总——模型基础知识
TigerZ*的博客
03-18 1034
本文主要介绍LLM面试中的模型方面的基础知识点，并且每个知识点做成了一级目录的形式，便于查阅，有任何建议和意见实时修改更新。
LoRA微调，真的有毒！
python12345678_的博客
10-30 1211
本文介绍一篇相当有意思的文章，该文章的内容对我们使用指令微调将预训练模型改造为 Chat 模型和下游专业模型相当有指导意义。。01试图使用指令微调来为模型灌输知识，其实是一个很常见的做法。然而只要这样做过的人会发现，效果并不会特别好，特别是使用 LoRA 训练时，模型几乎学不到任何知识。笔者自己的实践是，在使用 LoRA 对一个 Llama 3.1 本身没有怎么预训练过的内容进行微调时，最终的结果和随机预测基本没有区别（分类和回归任务改造的指令微调数据集）。
Lora微调Yi-6B第一个step后loss突变为0
2303_79373719的博客
07-07 1074
由于模型学习的是回答问题，不需要去拟合问题的语言，所以我们只计算responce部分的loss，而不计算prompt的部分的loss。1. 查看label的设置，通常在dataloader的data_collator参数中会有涉及，将label设为-100的地方去掉（这里说的是自己设置的-100，hugging face中的函数会将特殊token mask掉，这个不用去掉）哪怕在一个样本中，模型的输出和训练集的结果完全一致几乎不可能。在微调大语言模型的时候，loss是我们判断模型训练效果的一大重要指标。
lora-训练评估方法
最新发布
qq_65688364的博客
04-29 297
评估lora的一些方法和指标
训练时loss不下降问题
Lmoermo的博客
08-29 5009
1、训练集loss不下降 2、测试集loss不下降 3、验证集loss不下降 二、epoch在100内损失出现nan可能原因以及解决 三、自适应学习率设置 一、训练时loss不下降问题 1、训练集loss不下降    1.1 模型结构和特征工程存在问题    1.2 权重初始化方案有问题    1.3 正则化过度    1.4 选择合适的激活函数、损失函数 1.5 选择合适的优化器和学习速率   1.6 训练时间不足 1.7 模型训练遇到瓶颈 1.8 batch size过大
LLaVA finetune.sh中loss一直为0的问题解决记录
m0_56711618的博客
01-15 434
使用finetune.sh做微调遇到loss经过两三条后一直保持0的情况,{'loss': 0.0, 'learning_rate': 2.631578947368421e-06, 'epoch': 0.0}
深度学习中Loss突然变为0的解决方法
热门推荐
Alden He
02-17 1万+
在深度学习中，在网络模型，优化器，损失函数均正确的情况下，可能在训练过程中会发生loss为nan的情况，这种情况下可能的一种原因是输入数据存在nan的情况，如果在数据量很多的情况下，可以通过以下方法来修正 假设我们读取的array为a import numpy as np def read(): arr=np.array([[1,2,3],[4,5,nan]]) whereisnan=np.i...
混合精度训练 | fp16 用于神经网络训练和预测
qq_35985044的博客
08-28 5447
混合精度训练 混合精度训练是在尽可能减少精度损失的情况下利用半精度浮点数加速训练。它使用FP16即半精度浮点数存储权重和梯度。在减少占用内存的同时起到了加速训练的效果。 IEEE标准中的FP16格式如下： 取值范围是5.96× 10−8 ~ 65504，而FP32则是1.4×10-45 ~ 3.4×1038。 从FP16的范围可以看出，用FP16代替原FP32神经网络计算的最大问题就是精度损失。 float ：1个符号位、8个指数位和23个尾数位 利用fp16 代替 fp32 ...
ChatGLM2-6B微调实践-QLora方案
weixin_44455388的博客
10-10 2486
chatGLM_6B_QLoRA.json文件为所有transformers框架支持的TrainingArguments，可根据实际情况自行修改。使用的项目目前使用的peft为dev的版本，在合并lora model和base model时，会报错。原因是训练的步数太少，连保存checkpoint的step都没有达到。修改model_name_or_path参数为本地真实的模型路径。合并微调的Lora model和基座base model。适当调整chatGLM_6B_QLoRA.json中的配置。
15chatGLM3半精度微调
qq_28611929的博客
09-03 517
如果假设ChatGLM3是 ChatGLM 系列的后续版本，那么可以推测它可能是对现有 ChatGLM 模型的进一步改进和扩展。模型规模：增加模型的参数量，以提高模型的表达能力和泛化能力。架构改进：引入新的架构设计，例如更先进的注意力机制或其他创新技术，以提高模型的性能。训练数据：使用更多的训练数据，特别是高质量的对话数据，以增强模型的理解和生成能力。优化技术：采用更高效的训练方法和优化算法，以加速训练过程并提高模型的收敛速度。多模态能力。
XTuner 微调个人小助手认知学习笔记
Moo_n_earth的博客
06-03 1285
XTuner数据引擎数据处理流程：原始问答对——>格式化问答对——>可训练语料多数据样本拼接，增加并行性，充分利用GPU资源Flash Attention和DeepSpeed ZeRO是XTuner最重要的两个优化技巧：Flash Attention 将 Attention 计算并行化，避免了计算过程中 Attention Score NxN的显存占用（训练过程中的 N 都比较大）
XTuner 微调 LLM:1.8B、多模态、Agent
天黑请闭眼~缓解下眼睛疲劳
06-13 1203
是不是感觉其实微调也不过如此！事实上确实是这样的！其实在微调的时候最重要的还是要自己准备一份高质量的数据集，这个才是你能否真微调出效果最核心的利器。微调也经常被戏称为是炼丹，就是说你炼丹的时候你得思考好用什么样的材料、用多大的火候、烤多久的时间以及用什么丹炉去烧。这里的丹炉其实我们可以想象为 XTuner ，只要丹炉的质量过得去，炼丹的时候不会炸，一般都是没问题的。但是假如炼丹的材料（就是数据集）本来就是垃圾，那无论怎么炼（微调参数的调整），炼多久（训练的轮数），炼出来的东西还只能且只会是垃圾。
GPU训练模型遇到的报错
Unauthorized_的博客
07-05 683
注意os.environ[“CUDA_VISIBLE_DEVICES”] 要在import torch前面，否则可能无法生效：https://zhuanlan.zhihu.com/p/582993579。1.查看pytorch是否是cpu版本，是的话参考：https://blog.youkuaiyun.com/wqufhu/article/details/129295385。
accelerate训练SD-LoRA，解决ValueError: Attempting to unscale FP16 gradients.问题
Superstarimage
05-22 1037
训练指令需从原来的：变换一下顺序：
大模型微调 踩坑个人记录：
qq_50502754的博客
01-19 1229
解决方法：bitsandbytes 只支持linux，windows下版本过低不支持。2.问题：lora微调chatglm loss为0。peft版本改为0.6.0后问题解决。改到linux服务器下运行，成功。
关于训练时Loss值不变解决办法
Rainbow
05-13 6417
fgf
大语言模型Lora参数微调过程（附完整代码）
qq-1343330453
01-09 4463
大语言模型微调过程
【问题解决与原理解释】Attempting to unscale FP16 gradients.
weixin_44212848的博客
08-18 4140
在使用 accelerate 训练模型时遇到以下报错，其实本质是没有理解训练过程中的各种精度设置的原理，本文将从等基础概念进行解释。
lora微调chatglm3-6b
03-18
### 如何使用LoRA对ChatGLM3-6B进行微调 #### 使用LoRA方法的背景 低秩适应（Low-Rank Adaptation, LoRA）是一种高效的参数优化技术，通过仅更新模型权重矩阵中的低秩部分来实现快速收敛和较小计算开销[^1]。 #### 准备工作 在开始之前，请确保已安装必要的依赖库并加载数据集。以下是所需的主要工具包： - `transformers`：用于加载预训练模型及其分词器。 - `peft`：支持LoRA和其他高效微调策略。 - `datasets`：处理自定义或公开的数据集。 #### 安装依赖项 运行以下命令以安装所需的Python库： ```bash pip install transformers peft datasets accelerate torch ``` #### 示例代码 下面是一个完整的示例脚本，展示如何基于LoRA微调ChatGLM3-6B： ```python import torch from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig from peft import LoraConfig, get_peft_model, prepare_model_for_kbit_training # 加载模型配置 model_name_or_path = "/root/autodl-tmp/ChatGLM3/basic_demo/cli_demo.py" tokenizer = AutoTokenizer.from_pretrained(model_name_or_path) # 配置量化设置 (可选) bnb_config = BitsAndBytesConfig( load_in_4bit=True, bnb_4bit_use_double_quant=True, bnb_4bit_quant_type="nf4", bnb_4bit_compute_dtype=torch.bfloat16 ) # 初始化基础模型 base_model = AutoModelForCausalLM.from_pretrained( model_name_or_path, quantization_config=bnb_config, device_map={"": 0} # 将模型放置到GPU上 ) # 设置LoRA超参数 lora_config = LoraConfig( r=8, # 秩大小 lora_alpha=32, target_modules=["q_proj", "v_proj"], # 调整目标模块 lora_dropout=0.05, bias="none", task_type="CAUSAL_LM" ) # 应用LoRA适配层 base_model.gradient_checkpointing_enable() base_model = prepare_model_for_kbit_training(base_model) peft_model = get_peft_model(base_model, lora_config) # 打印可训练参数数量 print(f"Trainable parameters: {sum(p.numel() for p in peft_model.parameters())}") # 训练过程省略... ``` 上述代码片段展示了如何利用LoRA调整特定模块，并减少整体内存占用量。 #### 数据集准备 对于对话格式的任务，通常需要将输入转换成适合因果语言建模的形式。例如： ```python def preprocess_function(examples): inputs = ["问：" + item["instruction"] + "\n答：" for item in examples["data"]] targets = [item["output"] for item in examples["data"]] return tokenizer(inputs, text_target=targets, padding="max_length", truncation=True, max_length=512) dataset = dataset.map(preprocess_function, batched=True) train_dataset = dataset['train'] eval_dataset = dataset['validation'] ``` 此函数会将每条样本转化为“问...答”的结构化形式[^2]。 #### 模型保存与导出 完成训练后可以轻松存储LoRA权重文件以便后续部署： ```python peft_model.save_pretrained("./outputs/lora_chatglm3") ``` --- ###
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值