在Ubuntu上用Llama Factory命令行微调Qwen2.5的简单过程

已于 2025-01-26 20:50:23 修改
阅读量1.8k 收藏 18
点赞数 21
文章标签： llama 大模型 人工智能
于 2025-01-26 20:49:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qysh123/article/details/145371389
版权

半年多之前写过一个教程：在Windows上用Llama Factory微调Llama 3的基本操作_llama-factory windows-优快云博客

如果用命令行做的话，前面的步骤可以参考上面这个博客。安装好环境后， 用自我认知数据集微调Lora模块：data/identity.json，里面的格式也很好理解：

{

"instruction": "你是谁？",

"input": "",

"output": "您好，我是 { {name}}，一个由 { {author}} 发明的人工智能助手。我可以回答各种问题，提供实用的建议和帮助，帮助用户完成各种任务。"

},

可以直接用VS Code将上面的name和author替换，另存为一个文件，并且在data/dataset_info.json增加这个，类似于我这里（另存的文件名为identity_tpri.json）：

 "identity_tpri": {

"file_name": "identity_tpri.json"

},

将文件examples/train_qlora/llama3_lora_sft_awq.

最低0.47元/天 解锁文章
蛐蛐蛐
关注
llamafactory0.9.0微调qwen2.5
liguandong
09-24 1068
本文介绍了如何使用LLaMA-Factory微调Qwen1.5模型，包括1.8B和0.5B版本的训练细节。在数据、训练、LORA融合及推理等方面进行了探讨，同时也分享了微调后模型在不同任务上的表现，如聊天对齐和显存占用等。在4卡A800-80G上微调的，数据不变。但是由于llamafactory更新了版本，因此训练命令也有所变化。llama_factory微调QWen1.5_llama factory qwen-优快云博客。注意训练数据要同步往llamafactory的dataset文件中拉取一份。
基于华为昇腾910B和LLaMA Factory多卡微调的实战教程
热门推荐
herosunly的博客
08-23 14万+
本文主要介绍了基于华为昇腾910B和LLaMA Factory多卡微调的实战教程，希望对使用大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 模型选型与下载 2.4 配置多卡环境 3. 运行代码 3.1 构建训练数据 3.2 修改配置文件 3.3 继续预训练(CPT) 3.4 SFT
手把手带你微调阿里qwen2.5大模型
python12222_的博客
10-23 1万+
大模型微调，也称为 Fine-tuning ，是指在已经预训练好的大型语言模型 基础上（一般称为“基座模型”），使用特定的数据集进行进一步的训练，让模型适应特定任务或领域。经过预训练的基座模型其实已经可以完成很多任务，比如回答问题、总结数据、编写代码等。但是，并没有一个模型可以解决所有的问题，尤其是。
LLaMA-Factory微调Qwen2.5-7B模型
qq_46325481的博客
02-19 1957
本次实验环境使用的魔塔社区的机子。
Ubuntu 服务器Llama Factory 搭建DeepSeek-R1微调训练环境
谁念西风独自凉
02-20 1895
LLaMA-Factory 是一个强大的大型语言模型微调框架：支持多种模型：涵盖 LLaMA、LLaVA、Mistral、Mixtral-MOE、Qwen、Qwen2-VL、Yi、Gemma、Baichuan、ChatGLM、Phi 等 100 多种模型。集成多种方法：包括（增量）预训练、（多模态）监督微调、奖励建模、PPO、DPO、KTO、ORPO 等方法，满足不同任务和场景的需求。
Qwen2.5大模型本地部署及微调教程
python1222_的博客
02-26 1472
作为非科班小白，一开始接触大模型相关知识属于兴趣使然，随着看的论文和报告越来越多，一直想要动手去实践大模型，但又无从下手。相信很多同学与当初的我有相同的境遇，本文将手把手教会您如何部署和微调大模型，踏出实践的第一步。01微调技术介绍微调（Fine-tuning）是指通过特定领域数据对预训练模型进行针对性优化，以提升其在特定任务上的性能。微调的核心原因是赋予大模型更加定制化的功能。通用大模型虽然强大，但在特定领域可能表现不佳。通过微调，可以使模型更好地适应特定领域的需求和特征。
llama factory lora 微调 qwen2.5 7B Instruct模型
weixin_41046245的博客
11-14 3545
项目背景 甲方提供一台三卡4080显卡 需要进行qwen2.5 7b Instruct模型进行微调。以下为整体设计。要使用对进行，流程与之前提到的模型类似。LoRA 微调是一种高效的微调方法，通过低秩适配器层来调整预训练模型的权重，而不是全量训练整个模型。
llama-factory实战: 基于qwen2.5-7b 手把手实战 自定义数据集清洗 微调
yierbubu1212的博客
09-29 1万+
准备工作1.数据集准备（例:民法典.txt）2.服务器准备（阿里云 DSW 白嫖）3.环境配置pip 升级模型下载微调助手4.数据集处理脚本文件4.1文本分割(bert-base-chinese)4.2数据集生成4.3.1数据集转换（只有一个数据集）alpaca格式4.3.2训练集验证集划分（两个数据集）alpaca格式5.开始微调5.1配置文件修改5.2进入微调ui5.3修改参数即可训练5.4训练结果6.测试评估7.模型对话8.模型合并9.模型量化。
llama-factory 系列教程 (七)，Qwen2.5-7B-Instruct 模型微调与vllm部署详细流程实战
jieshenai的博客
11-25 7717
介绍了如何使用该工具进行模型的微调和部署，内容涵盖工具的安装、模型下载、数据集准备、Lora 微调方法、命令行与 YAML 文件配置的训练流程，以及推理测试与多种部署方式。文章以实验流程为线索，结合图文演示，快速上手并高效完成 LLaMA-Factory 的实际应用。
LLama-Factory 快速部署Qwen2.5模型
q742971636的博客
11-04 858
【代码】LLama-Factory 快速部署Qwen2.5模型。
用Llama Factory单机多卡微调Qwen2.5时报torch.OutOfMemoryError: CUDA out of memory的解决办法
qysh123的专栏
02-08 1514
但是GitHub这里说得比较简略了，具体怎么解决呢，在yaml文件的method那一部分加入：deepspeed: examples/deepspeed/ds_z3_config.json。如果需要微调比较大的模型，例如Qwen2.5-32B，那么在两个3090上可能不够用，这里我用A6000×4的服务器。呵呵呵，这个bug还不知道有什么办法能解决，现在对32B的模型可以这样，72B的就无能为力了。哪怕不加上微调模块，模型输出也是胡说八道（输出乱码）。ps：从loss看似乎没训练好，但是总是可以跑了。
训练和部署Qwen2.5，实战教程步骤，训练qwen2.5教程，vLLM，Open WebUI，LLaMA-Factory
q742971636的博客
11-01 1720
Qwen2.5多规模模型：提供从 0.5B 到 72B 参数规模的模型，满足不同需求。强大的语言理解和生成能力：在文本生成、对话、问答等任务上表现出色。开源友好：模型和代码在上公开，方便开发者下载和使用。通过本教程，您应该已经了解了如何下载、部署和训练 Qwen2.5 模型。无论是直接调用 API，还是通过前端界面与模型交互，都可以帮助您更好地利用 Qwen2.5 的强大功能。如果您需要对模型进行微调，LLaMA-Factory 提供了便捷的工具链，助您快速实现自定义需求。
LLaMA-Factory 8卡4090 deepspeed zero3 微调Qwen14B-chat
u014776464的博客
02-27 6967
8卡4090微调千问14b
基于LLaMA-Factory微调Qwen2.5-1.5B-Instruct
m0_75149710的博客
11-24 1868
这是modelscope的官网魔搭社区汇聚各领域最先进的机器学习模型，提供模型探索体验、推理、训练、部署和应用的一站式服务。这个服务需要绑定阿里云，没注册的还要注册阿里云。
[论文笔记] llama-factory 微调qwen2.5、llama3踩坑
心宝的博客
10-18 1456
【代码】[论文笔记] llama-factory 微调qwen2.5、llama3踩坑。
LLaMA-Factory微调sft Qwen2.5-VL-7B-Instruct
最新发布
q742971636的博客
03-17 821
"content": "你是一个擅长识别印章上文字的助手，输出json字符串给用户。",},"content": "<image>识别图片里红色印章上的公司名称或单位名称（印章主文字）。",},"content": "{\"印章主文字\": \"饮酒太原近似收益有限公司\"}",],"seal": {},"tags": {
开源模型应用落地-qwen2.5-7b-instruct-LoRA微调-LLaMA-Factory-单机单卡-V100（十八）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
09-25 2万+
使用LLaMA-Factory高效微调qwen2.5-7b-instruct
【从零开始系列】Qwen2.5 & Llama-Factory：开源语言大模型+训练平台——（超详细、最新版）一篇文章解决：环境搭建 =＞ 微调训练 =＞ 本地部署
qq_58718853的博客
01-13 4969
使用llama-factory大语言模型微调高效平台，对qwen2.5官方预训练模型进行微调并部署
llama-factory微调qwen
01-19
### 使用 LLama-Factory 对 Qwen 模型进行微调 #### 准备环境 为了使用 LLama-Factory 进行微调，需先安装必要的依赖项并配置好运行环境。确保已准备好支持 GPU 的计算资源，并设置 `CUDA_VISIBLE_DEVICES` 来指定使用的显卡设备。 ```bash export CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 pip install -r requirements.txt ``` #### 配置训练参数文件 创建或编辑 YAML 文件以定义具体的训练参数。此文件应位于项目目录下的适当位置，例如 `/examples/train_lora/qwen2vl_lora_sft_my20241112.yaml`。该文件包含了关于数据集路径、批次大小、学习率等重要超参的信息[^2]。 #### 开始训练过程 利用命令行接口启动训练任务： ```bash llamafactory-cli train /path/to/your/project/examples/train_lora/qwen2vl_lora_sft_my20241112.yaml ``` 上述指令会依据给定的配置文件执行 LoRA 方式的有监督微调操作。 #### 测试调整后的模型性能 完成一轮或多轮次迭代之后保存下来的 checkpoint 即为经过特定领域适配的新版本 Qwen 模型。此时可以通过加载这些权重来进行推理实验验证效果改进情况。具体来说，在 GUI 或 CLI 中选择对应 checkpoint 并上传待分类图像样本观察输出结果是否符合预期目标类别[^3]。 #### 实现更精准的结果映射 考虑到原有标签体系差异带来的精度损失问题，通过针对性地收集标注数据并对齐至所需语义空间可以有效提升最终决策层面上的一致性和可靠性。这一步骤旨在减少因间接转换而导致的信息失真现象，从而提高整体系统的鲁棒性与泛化能力。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值