11.QLoRA微调ChatGLM3-6B

最新推荐文章于 2024-09-16 09:15:00 发布
最新推荐文章于 2024-09-16 09:15:00 发布
阅读量1.1k 收藏 21
点赞数 13
分类专栏： 大模型微调 文章标签： 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/YPeng_Gao/article/details/139666040
版权

实战 QLoRA 微调 ChatGLM3-6B 大模型

实战 PEFT 库 QLoRA ChatGLM3-6B

请添加图片描述

微调数据集 AdvertiseGen

请添加图片描述

AdvertiseGen 数据集获取

请添加图片描述

了解本专栏 订阅专栏 解锁全文 超级会员免费看
ChatGLM LoRA微调实战方案
herosunly的博客
04-28 17万+
本文主要介绍了ChatGLM LoRA微调实战方案，希望对学习大语言模型的同学们有所帮助。微调后的推理截图如下所示。 文章目录 0. 简介 1. 安装虚拟环境 2. 下载文件 2.1 下载源代码 2.2 下载模型依赖文件 2.3 下载模型文件 3. 安装依赖库 4. LoRA微调 4.1 下载源代码 4.2 数据格式转换 4.3 tokenize 4.4 微调 5. 推理
使用PEFT库进行ChatGLM3-6B模型的QLORA高效微调
积跬步，至千里。
07-10 1391
QLoRA是LoRA的扩展版本,在微调过程中引入了量化技术,以进一步提高参数效率。QLoRA利用LoRA的原理，并引入了4位NormalFloat（NF4）量化和双重量化技术，进一步减少了存储和计算资源的使用。
ChatGLM2-6B微调实践-QLora方案
weixin_44455388的博客
10-10 2456
chatGLM_6B_QLoRA.json文件为所有transformers框架支持的TrainingArguments，可根据实际情况自行修改。使用的项目目前使用的peft为dev的版本，在合并lora model和base model时，会报错。原因是训练的步数太少，连保存checkpoint的step都没有达到。修改model_name_or_path参数为本地真实的模型路径。合并微调的Lora model和基座base model。适当调整chatGLM_6B_QLoRA.json中的配置。
[大模型]# Yi-6B-Chat Lora 微调
FL1623863129的博客
04-13 1149
LoraConfig这个类中可以设置很多参数，但主要的参数没多少，简单讲一讲，感兴趣的同学可以直接看源码。task_type：模型类型：需要训练的模型层的名字，主要就是attention部分的层，不同的模型对应的层的名字不同，可以传入数组，也可以字符串，也可以正则表达式。rlora的秩，具体可以看Lora原理lora_alphaLora alaph，具体作用参见Lora原理inference_mode=False, # 训练模式r=8, # Lora 秩。
ChatGLM系列五：Lora微调
永胜的博客
10-27 2735
目前主流对大模型进行微调方法有三种：Freeze方法、P-Tuning方法和Lora方法LoRA: 在大型语言模型上对指定参数（权重矩阵）并行增加额外的低秩矩阵，并在模型训练过程中，仅训练额外增加的并行低秩矩阵的参数,冻结其他参数。当“秩值”远小于原始参数维度时，新增的低秩矩阵参数量也就很小。在下游任务tuning时，仅须训练很小的参数，但能获取较好的表现结果。
chatGLM3-LoRA微调实战
逍遥壮士
03-19 2709
上文:chatGLM3+chatchat实现本地知识库为什么要微调？微调的主要目的是通过在特定任务上对预训练模型进行进一步训练，以适应该任务的需求，从而提高模型在该任务上的性能。具体来说，微调可以带来以下好处：提高模型的精度：预训练模型通常在大规模数据上进行训练，可以获得丰富的语言知识和语境信息。通过在特定任务上对这些预训练模型进行微调，我们可以更好地利用这些知识和信息，并将其适应到特定任务的需求...
中文网页自动导航挑战赛——lora微调ChatGLM经验分享
Savarus的博客
05-29 1354
Lora微调ChatGLM-6B经验分享
ChatGLM2-6B微调实践-P-Tuning方案
weixin_44455388的博客
10-08 1878
准备我们自己的数据集，分别生成训练文件和测试文件这两个文件，放在目录 ChatGLM2-6B/ptuning/myDataset/ 下面。执行web_demo.sh，访问http://xxx.xxx.xxx.xxx:7860。加载模型，需要从网上下载模型的7个分片文件，总共大约10几个G大小，可提前下载。如提示找不到conda命令，需配置Anaconda环境变量。训练集文件： train_file.json。测试集文件： val_file.json。根据提示一路安装即可。
使用LLaMA Factory来训练智谱ChatGLM3-6B模型
2301_81887304的博客
09-16 1166
使用LLaMA Factory来训练智谱ChatGLM3-6B模型
【AI大模型】从零开始运用LORA微调ChatGLM3-6B大模型并私有数据训练_chalm3进行lora训练
2401_85378759的博客
07-11 2142
ChatGLM3是智谱AI和清华大学 KEG 实验室联合发布的对话预训练模型。ChatGLM3-6B 是 ChatGLM3 系列中的开源模型，在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上，ChatGLM3-6B 引入了如下特性：ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。
ChatGLM-6B实战微调（P-tuning-v2、LORA）
qq_47982709的博客
04-07 1716
LoRA核心思想是在原始预训练语言模型旁边增加一个旁路，做一个降维再升维的操作，来模拟所谓的 intrinsic rank（预训练模型在各类下游任务上泛化的过程其实就是在优化各类任务的公共低维本征（low-dimensional intrinsic）子空间中非常少量的几个自由参数）。在推理时，将左右两部分的结果加到一起即可，h=Wx+ABx=(W+AB)x，所以，只要将训练完成的矩阵乘积AB跟原本的权重矩阵W加到一起作为新权重参数替换原始预训练语言模型的W即可，不会增加额外的计算资源。
用通俗易懂方式讲解：大模型 ChatGLM3 进行 LORA 高效微调全流程
2301_78285120的博客
06-29 1478
lora微调原理论文：
ChatGLM3本地部署+Lora微调
Bowen_Ding_的博客
03-28 3535
ChatGLM3本地部署+Lora微调
ChatGLM3微调实战-从原理到应用的LoRA技术全解
zgw555555的专栏
06-05 742
LoRA是一种用于微调大型预训练语言模型的技术，通过引入低秩矩阵来提高微调的效率和灵活性。LowR损伤则是一个假设性的术语，可能指的是某种技术或过程中的性能损失或偏差，其定义、特点和应用可能因具体上下文而异。由于LowR损伤并非一个广泛认知的术语，以上解释基于假设和一般的技术概念。如果LowR损伤在特定领域或技术中有特定的定义和应用，请根据具体情况进行了解。
LLM-微调-方案（一）：Lora【案例：chatGLM-Lora】【在chatGLM原有结构中间插入新的网络层】【微调时冻结原有结构参数，只微调新加入的网络层参数】
u013250861的博客
06-05 1203
【代码】Lora微调：chatGLM-Lora【在chatGLM原有结构中间插入新的网络层】【微调时冻结原有结构参数，只微调新加入的网络层参数】
ChatGLM两代的部署/微调/实现：从基座GLM、ChatGLM的LoRA/P-Tuning微调、6B源码解读到ChatGLM2的微调与实现
热门推荐
结构之法 算法之道
03-31 6万+
随着『GPT4多模态/Microsoft 365 Copilot/Github Copilot X/ChatGPT插件』的推出，绝大部分公司的技术 产品 服务，以及绝大部分人的工作都将被革新一遍类似iPhone的诞生 大家面向iOS编程 有了App Store现在有了ChatGPT插件/GPT应用商店，以后很多公司 很多人面向GPT编程(很快技术人员分两种，一种懂GPT，一种不懂GPT)然ChatGPT/GPT4基本不可能开源了，而通过上文《
ChatGLM2-6B微调
小张的技术分享博客
03-22 534
最近对大模型很感兴趣，所以尝试了一下微调，记录一下。
chatglm3-6b 微调训练流程和部署经验总结
m0_73723713的博客
04-19 7497
chatglm3，微调训练与部署，模型合并，数据集验证等
ChatGLM2-6B的P-Tuning微调
weixin_43815222的博客
07-05 4306
注：ChatGLM2-6B官网给的环境P-Tuning微调报错。可复用ChatGLM-6B（上述部署教程），即。
chatglm3-6b微调
最新发布
03-12
<think>好的，我现在需要帮助用户了解如何对ChatGLM3-6B模型进行微调。首先，我得回顾用户提供的引用内容，确保回答准确。用户提到了三个引用，其中引用[1]指出ChatGLM3-6B-base支持Lora微调，而ChatGLM3-6B支持全量微调和P-Tuning V2。引用[3]提到了启动脚本run.sh中的参数设置，比如model_name_or_path、train_file等。 用户的问题是关于微调方法和示例的，所以需要分步骤解释。首先，可能需要介绍不同的微调方法：全量微调、Lora和P-Tuning V2，并说明它们适用的模型版本。然后，给出具体的步骤，比如准备数据、配置参数、运行脚本等。此外，用户可能需要示例代码或命令，这需要参考引用中的信息，比如scripts/run_sft.sh的使用。 还要注意用户提到的显存需求，引用[2]提到ChatGLM-6B的显存需求，可能需要提醒用户在微调时的硬件要求。同时，数据格式方面，引用[3]提到训练文件和验证文件的路径设置，可能需要说明数据应该如何准备，比如JSON格式，每行包含prompt和response。 可能还需要强调不同模型版本对应的微调方法，比如ChatGLM3-6B-base只能用Lora，而ChatGLM3-6B可以用全量和P-Tuning V2。同时，参数设置如cutoff_len对于不同模型的影响，如LLaMA建议1024以上，Bloom用512，但ChatGLM的情况可能需要进一步确认，但根据引用[3]，可能需要设置合理的长度。 最后，生成相关问题时要考虑用户可能进一步的问题，比如显存优化、数据处理、超参数调整等。需要确保问题覆盖用户可能关心的其他方面，比如应用场景或性能分析。</think>### ChatGLM3-6B模型微调方法及示例 #### 1. 微调方法概述 根据官方文档，ChatGLM3-6B模型的微调支持以下方法[^1]： - **ChatGLM3-6B-base模型**：仅支持Lora微调 - **ChatGLM3-6B模型**：支持全量微调（Full Fine-Tuning）和P-Tuning V2 - 显存需求：FP16模式下至少需要13GB显存，通过INT8/INT4量化可降低至10GB/6GB[^2] #### 2. 微调步骤 ##### 步骤1：准备数据 - 数据格式：建议使用JSON文件，每行包含`prompt`（输入）和`response`（期望输出） - 示例数据格式： ```json {"prompt": "解释牛顿定律", "response": "牛顿第一定律描述了惯性..."} ``` ##### 步骤2：配置训练脚本 修改`scripts/run_sft.sh`脚本关键参数[^3]： ```bash model_name_or_path="THUDM/chatglm3-6b" # 预训练模型路径 train_file="./data/train.json" # 训练数据路径 validation_file="./data/dev.json" # 验证数据路径 output_dir="./output" # 输出目录 cutoff_len=2048 # 序列长度（根据显存调整） ``` ##### 步骤3：运行微调命令 - **全量微调**： ```bash bash scripts/run_sft.sh \ --do_train \ --do_eval \ --fp16 ``` - **P-Tuning V2**： ```bash bash scripts/run_sft.sh \ --use_ptuning \ --prefix_projection \ --prefix_hidden_size 128 ``` #### 3. 关键参数说明 | 参数 | 说明 | 建议值 | |------|------|--------| | `learning_rate` | 学习率 | 1e-5~5e-5 | | `per_device_train_batch_size` | 批次大小 | 根据显存调整（通常1-4）| | `gradient_accumulation_steps` | 梯度累积步数 | 4-8 | | `max_seq_length` | 最大序列长度 | 512-2048 | #### 4. 显存优化技巧 - 启用量化训练（添加`--quantization_bit 4`） - 使用梯度检查点技术（添加`--gradient_checkpointing`） - 混合精度训练（`--fp16`或`--bf16`） #### 5. 示例代码片段 ```python from transformers import AutoModelForCausalLM, TrainingArguments model = AutoModelForCausalLM.from_pretrained("THUDM/chatglm3-6b") training_args = TrainingArguments( output_dir="./results", per_device_train_batch_size=2, gradient_accumulation_steps=4, learning_rate=2e-5, fp16=True, ) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

（initial）

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值