微调这件小事：深入修改源码，实现LLaMA-Factory同时测试多个数据集并汇总结果

已于 2025-03-09 19:13:26 修改
阅读量722 收藏 9
点赞数 11
CC 4.0 BY-SA版权
分类专栏： 大模型应用与实战 文章标签： 微调 数据集 llama factory sft
于 2025-02-11 12:14:48 首次发布
本文为博主原创文章，未经博主允许不得转载，听见没。
本文链接：https://blog.youkuaiyun.com/jining11/article/details/144430787

在使用LLaMA-Factory进行微调的时候，我们常常需要同时微调多个任务，并且希望能查看微调后的模型在不同任务上的表现，从而有针对性地对数据集进行调整，提升其整体效果。然而LLaMA-Factory的训练和测试默认是将所有数据集合并后打包在一起的，这无疑增大了测试的麻烦程度。本文以微调text2sql任务为例，探索了手动测试多数据集的方式，并在研究项目源码之后对其进行了修改，完成了对多文件的自动化测试并自动生成总结文件，最终测试效果如下图所示。
在这里插入图片描述

文章目录

🎉进入大模型应用与实战专栏 | 🚀查看更多专栏内容

在这里插入图片描述

手动测试

以text2sql任务为例，我们已经构建了8个不同任务的sql数据集，并微调好了一个模型。

了解本专栏 订阅专栏 解锁全文 超级会员免费看
微调这件小事：当我们执行LLaMA-Factory，我们到底在执行什么
羊城迷鹿的博客
02-11 3850
其实LLaMA-Factory的执行路径很简单，本质上就是靠webui收集微调参数，靠launcher执行微调算法。只是中间多了两步命令行执行以实现分布式微调，结果增大了调试的难度。如果想深入探索LLaMA-Factory的算法实现，那就先设法生成文件，再根据这个文件去调试。
微调这件小事：模板是什么？一文从LLaMA-Factory源码看穿Template的面纱
羊城迷鹿的博客
03-29 730
我们已经得知了instruction所真正扮演的角色，下面我们就在保持调试方法不变的情况下，沿着数据集处理的逻辑往前一步，继续探索关于Template的一些细节，搞懂模板这个总是碰到又说不太清的关键概念。模板从复杂的格式（支持工具调用、思考过程等）转换为简化的Jinja2格式，便于与tokenizer集成。
4.1【LLaMA-Factory 实战】医疗领域大模型：从数据到部署的全流程实践
陈奕昆的博客
05-09 1495
本文介绍了基于LLaMA-Factory框架构建医疗领域大模型的完整流程。首先，通过PubMed API爬取医学文献，并将其转换为问答对格式，结合罕见病数据合成，构建专业医疗数据集。接着，定制医疗对话模板，配置训练参数，并使用多GPU进行模型微调。训练完成后，通过准确率、F1分数等指标评估模型效果，并与GPT-4o进行对比。最后，使用FastAPI部署医疗诊断助手API，实现模型的实际应用。整个流程涵盖了数据准备、模型训练、效果验证和部署，展示了从数据到应用的全过程实践。
数据集准备
m0_67876774的博客
06-24 2348
"第一轮指令（选填）", "第一轮回答（选填）"],["第二轮指令（选填）", "第二轮回答（选填）"]"instruction": "人类指令（必填）","system": "系统提示词（选填）","system": "系统提示词（选填）","output": "模型回答（必填）","input": "人类输入（选填）","value": "人类指令""value": "工具参数""value": "工具结果""value": "模型回答""tools": "工具描述（选填）"
LLaMA-Factory - 批量推理（inference）的脚本
最新发布
qq_60245590的博客
06-01 923
scripts/vllm_infer.py 是 LLaMA-Factory 团队用于批量推理（inference）的脚本，基于 vLLM 引擎，支持高效的并行推理。它可以对一个数据集批量生成模型输出，并保存为 JSONL 文件，适合大规模评测和自动化测试。
自定义数据集使用llama_factory微调模型并导入ollama
weixin_53162188的博客
04-14 1万+
本文所有操作均在linux系统下完成。
llama-factory SFT系列教程 (二)，大模型在自定义数据集 lora 训练与部署
热门推荐
jieshenai的博客
04-12 2万+
本文为 llama-factory SFT系列教程的第二篇；实现了在自定义数据集上 lora 微调大模型；接着融合lora权重进行大模型推理的功能
从零开始的LLaMA-Factory的指令增量微调
03-15 9014
LLaMA-Factory是开源的大模型微调框架，在模型微调方式、参数配置、数据集设置、模型保存、模型合并、模型测试以及模型试用上，提供了非常完备的开发接口。
小白也能微调大模型：LLaMA-Factory使用心得
MeetLight
03-30 1万+
本文介绍了初学者如何使用LLaMA-Factory进行大模型的微调，包含训练、测试数据集的构建，训练任务相关的参数，训练完成后的测试集上推理等环节
llama-factory一个数据微调用例
05-26
"llama-factory"是一个数据微调的工具或平台，主要与LoRa（Long Range）技术相关，这是一项低功耗广域网通信技术，常用于物联网(IoT)应用。在给定的文件列表中，我们可以看到以下几个关键文件： 1. **dataset_info....
中医问答机器人-基于ChatGLM3-Base+LLaMA-Factory微调的中医问答机器人系统实现-附项目源码+流程教程
10-20
基于ChatGLM3-Base和LLaMA-Factory微调的中医问答机器人系统实现，是一个结合了中医专业知识与最新人工智能技术的创新项目。它不仅在技术层面实现了突破，还在应用层面展现了巨大的潜力。项目的源码和教程的开放，将...
科研的学习（七）
weixin_62488390的博客
04-15 294
在大模型训练的过程中，会用到高昂的设备，涉及到复杂的配置，伴随着很大的成本。阿里云PAI平台提供了一站式的AI开发全链路服务，提供从数据标注（PAI-iTAG）到模型开发（Designer）到模型训练（DLC / 灵骏）到模型部署（EAS）到模型运维（资产管控）的完整闭环，对学习Ai的萌新非常友好，可以在这里以比较低的价格租到强力的显卡，比如NVIDIA A10。验证集：验证超参数是否是合适的，如何不合适，调整超参数，重新使用训练集再次训练，反复迭代比较，获取到基本的模型。选择evalate评估模型，
LLaMA-Factory：简单的微调Llama
qq_35485206的博客
10-17 1456
LLaMA-Factory 简介LLaMA-Factory 是一个开源项目，它提供了一套全面的工具和脚本，用于微调、提供 LLaMA 模型并对其进行基准测试。LLaMA(大型语言模型适应)是由 Meta AI 开发的基础语言模型的集合，在各种自然语言任务中表现出强大的性能。项目地址: https://gitcode.com...
LLaMA Factory对大模型微调和导出量化操作
沐雪架构师
03-21 1323
14、输出目录：会自动生成一个路径，要确保每次的目录都不相同，若已存在，则需要去服务器上删除，目录在llamafactory-save目录下。11、截断长度：长度越长越占显存，根据样本里的文本长度，大部分数据的最大长度值即可，比如，有90%的样本数据的长度是200，这里填写200.12、批处理大小：超参数，需要根据你服务器的配置，尝试运行几次，找到资源利用率最高的数值。4、对话模板：不同的模型对应的对话模板是不一样的。3、检查点路径：训练过程中保存的权重，可从其中的一个权重重新训练。
使用LLaMA-Factory微调训练Qwen2-VL-7B/Qwen2.5-VL-7B与视觉大模型数据集制作流程与训练评估
CSPhD-winston的博客
02-07 2277
本文介绍了使用LLaMA-Factory微调训练Qwen2-VL-7B视觉大模型的完整流程。内容包括环境安装（AutoDL部署、LLaMA-Factory安装）、模型下载（通过ModelScope获取Qwen2-VL系列模型）、数据集制作（基于特定任务的JSON格式数据构建）以及模型测试方法。文章还提供了相关视频教程和GitHub资源链接，涵盖从数据准备到模型训练的各个环节，为开发者实现多模态大模型微调提供了详细指导。特别展示了学生行为识别任务的训练数据样例，包含图像路径和对应的问答标注。
llamafactory训练，合并，以及mindie推理
weixin_39958729的博客
04-16 695
修改yaml文件的路径，根据自己的模型以及数据修改，我是以llama3_lora_sft.yaml为例，修改以下几处地方。二、进入/home/lly/LLaMA-Factory，切换到llamafactory_test的conda环境下。一、进入/home/lly/LLaMA-Factory/examples/merge_lora目录底下。注：llamafactory为conda环境，根据自己的conda环境进行修改。三、利用T65的镜像推理合并后的模型。创建自己的conda环境。运行如下脚本，合并模型。
在矩池云使用LLaMA-Factory训练属于自己的专属模型，详细教程
机器学习是魔鬼的博客
10-31 1306
LLaMA-Factory 是一个多功能的语言模型微调框架，它提供了一系列工具和方法来微调和优化大型语言模型。本文将教大家如何在矩池云使用LLaMA-Factory快速训练属于自己的专属模型。
LLaMA-Factory使用心得：小白也能轻松微调大模型
2401_84204413的博客
03-17 1606
1. 准备好硬件（GPU）、数据；通过各方面的资讯选中你想要微调的基座模型2. 准备好代码：输入数据 + 模型 -> 在GPU上反复训练3. 训练结束以后，得到训练过程中的checkpoint + 一些log信息4. 根据log信息选一些比较有希望的checkpoint在自己的测试集上推理，获得相应的结果5. 分析结果，获得下一轮实验（数据、训练方案的迭代）思路而LLaMA-Factory就是一个很好的负责step。
大模型三阶段训练方法(LLaMa Factory)
2401_85373691的博客
12-24 4269
根据LLaMa-Factory的README，我们需要在中按照以下格式注册自定义的数据集。"数据集名称": { "file_name": "data.json", "columns": { "prompt": "text" } }我们在在},在中，注册新添加的数据集。},
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

羊城迷鹿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值