ferriswym的博客

使用LoRA微调模型后，导出模型指合并LoRA并导出HuggingFace格式的模型，导出后，所有HuggingFace的接口和调用方式都可以兼容。使用VLM-R1训练后的模型也可以导出，理论上可以使用LLaMA-Factory的导出功能，也可以使用HuggingFace自己写代码导出。LLaMA-Factory 提供从训练、微调到推理的全流程支持，内置对多模态模型和 LoRA 的适配，支持多种最新模型，更新及时，且提供webui，非常适合新手入门。下的脚本，根据自己的微调需求准备一个运行脚本。

huggingface已经是当前广泛使用的模型平台，很多开源模型都存放在huggingface。指定模型保存的目录。

本文列出的是指令微调中比较经典的方法/例子，其中包含有另一些如CoT/强化学习等知识点，将在以后的文章中再研究。Flan-T5 是首次系统化研究指令微调的文章，基于T5模型，通过大规模多任务训练和指令模板优化，显著提升模型在零样本、少样本和推理任务中的表现。：用排序数据训练奖励模型（基于SFT后的模型），输出回答的分数差异（如回答2得分>回答1）。：基于GPT-3架构，用交叉熵损失函数微调模型，使其生成符合示例的回答。：用高质量指令-回答对微调预训练模型，初步对齐人类意图。零样本模板：直接给出任务描述。

公司有需求做农业方向的大模型应用以及Agent助手，那么适配农业数据就非常重要。但众所周知，大模型的全量微调对算力资源要求巨大，在现实的限制条件下基本“玩不起”，那么高效微调技术就非常必要。为了更好地对微调技术选型和应用，本文整理了常用参数高效微调的方法原理。