LLAMAFACTORY: Unified Efficient Fine-Tuning of 100+ Language Models

最新推荐文章于 2025-10-19 10:15:00 发布
最新推荐文章于 2025-10-19 10:15:00 发布
阅读量212 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/137958460
LLM 日更 专栏收录该内容
828 篇文章

已下架不支持订阅

本文介绍LLAMAFACTORY，一个集成尖端高效微调技术的统一框架，适用于100多个大型语言模型。通过LLAMABOARD web UI，用户无需编码即可定制和评估模型。实证研究证明了该框架在语言建模和文本生成任务上的效率和效果。未来将与最新模型和技术保持同步，并探索更高效的并行训练策略。

本文是LLM系列文章，针对《LLAMAFACTORY: Unified Efficient Fine-Tuning of 100+ Language Models》的翻译。

LLAMAFACTORY:100+语言模型的统一高效微调

摘要

有效的微调对于使大型语言模型（LLM）适应下游任务至关重要。然而，在不同的模型上实现这些方法需要付出不小的努力。我们展示了LLAMAFACTORY，这是一个统一的框架，集成了一套尖端高效的培训方法。它允许用户灵活地自定义100+LLM的微调，而无需通过内置的web UI LLAMABOARD进行编码。我们实证验证了我们的框架在语言建模和文本生成任务上的效率和有效性。它发布在https://github.com/hiyouga/LLaMA-Factory已经收到13000多哦star和1600多个fork。

1 引言

2 高效的微调技术

3 LLAMAFACTORY框架

4 实证研究

5 结论和未来工作

在本文中，我们展示了LLAMAFACTORY，一个用于有效微调LLM的统一框架。通过模块化设计，我们最大限度地减少了模型、数据集和训练方法之间的依赖性，并提供了一种集成方法，通过各种有效的微调技术对100多个LLM进行微调。此外，我们还提供了一个灵活的web UI LLAMABOARD

了解本专栏 已下架不支持订阅
UnknownBody
关注
专栏目录

已下架不支持订阅

LLaMA-Factory可视化界面微调chatglm2；LoRA训练微调模型 简单案例
weixin_42357472的博客
05-09 7348
lore模型训练 参考：https://github.com/huggingface/peft。
llamafactory:unified efficient fine-tuning of 100+ lanuage models
liguandong
04-10 636
使用transformers的AutoModel API加载模型并初始化参数，为了使框架兼容不同模型架构，建立了一个模型注册表，存储每层的类型，从而更方便的使用高效的微调技术，当word embedding的词汇大小超过tokenizer的容量时，会调整层的大小，并使用噪声均值初始化新参数，为了计算RoPE缩放的缩放因子，计算了输入序列长度的最大值与模型的上下文长度的比率。相反，Lora冻结所有的预训练权重，并在指定层中引入一对可训练的低秩矩阵，当与量化结合时，称之为QLora。
快速上手！LLaMa-Factory最新微调实践，轻松实现专属大模型
浪潮圈
01-17 1万+
近日，源2.0开源大模型与LLaMA-Factory框架完成全面适配，用户通过LLaMA-Factory，即可快捷、高效地对不同参数规模的源2.0基础模型进行全量微调及高效微调，轻松实现专属大模型。
【LLaMA-Factory】3分钟上手：小白也能玩转大模型微调！（附代码）大模型入门到精通，收藏这篇就足够了！
最新发布
pythonhy的博客
10-19 897
你是否也曾被大模型微调的高门槛劝退？显卡贵、代码复杂、配置繁琐…今天给大家带来一个 「零代码」 解决方案——LLaMA-Factory，让你轻松玩转100+大模型微调！
【AI时代】可视化训练模型工具LLaMA-Factory安装与使用
浩瀚宇宙的一粒尘埃
02-21 2114
一款进行模型可视化训练、推理的神器。
llama_factory
ttest11的博客
06-11 437
vllm用途微调（训练）推理（部署）底层transformers等直接关系❌ 无直接关系❌ 无直接关系组合用法微调出的模型可以放到vllm里跑推理它们常常串联用，而不是对等或包含关系用微调出自己的Llama模型权重（如加LoRA/QLoRA等）用vllm把微调好的模型“无缝部署”为高性能API服务。
大模型高效调参—PEFT库（ Parameter-Efficient Fine-Tuning）
消极的人永远是对的，积极的人选择勇往直前
05-17 8284
大模型高效调参大法——PEFT库（ Parameter-Efficient Fine-Tuning）
Parameter-Efficient Fine-tuning 相关工作梳理
Paper weekly
03-19 3074
©PaperWeekly 原创 ·作者 |避暑山庄梁朝伟研究方向 |自然语言处理背景随着计算算力的不断增加，以 transformer 为主要架构的预训练模型进入了百花齐放的时代。看...
万字精研：大型语言模型微调Fine-Tuning技术——14种主流方法的原理、适用场景及实践指南
2401_85377976的博客
09-05 1545
BitFit对微调机制的一种积极探索，也很简单，通过仅调整 bias 效果就能有不错的效果，但没有具体阐述原理，就是通过猜测加实验得到的结果。同时，作者提出一个观点：微调的过程不是让模型适应另外的数据分布，而是让模型更好的应用出本身的表征能力。特点：训练参数量极小（约 0.1%）。在大部分任务上效果会差于 LoRA、Adapter 等方法。在每一个 Transformer 层都带上一些 virtual token 作为前缀，以适应不同的任务。
LlamaFactory：解锁LLM微调效率的终极神器！
Code1994的博客
12-25 1782
LLaMA Factory 是一个简单易用且高效的大型语言模型（Large Language Model）训练与微调平台。通过 LLaMA Factory，可以在无需编写任何代码的前提下，在本地完成上百种预训练模型的微调，框架特性包括：模型种类：LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen、Yi、Gemma、Baichuan、ChatGLM、Phi 等等。
北航发布LlamaFactory，零代码大模型微调平台，一键快速实现大模型训练/微调/评估
kaka0722ww的博客
04-22 3246
本文提出LLAMA FACTORY，一个集成了一套高效训练方法的统一大型语言模型微调框架。它允许用户灵活定制100+ LLM的微调，而无需通过内置的web UI LLAMA板进行编码。实证验证了该框架在语言建模和文本生成任务上的效率和有效性。目前已在Github上开源，地址https://github.com/hiyouga/LLaMA-Factory。
LLama-factory包，在github上面下载的
08-21
LLama-factory包，在github上面下载的
llama-factory简介
春和景明
04-02 5177
LLaMA-Factory 是一个易于使用的大规模语言模型（Large Language Model, LLM）微调框架，它支持多种模型，包括 LLaMA、BLOOM、Mistral、Baichuan、Qwen 和 ChatGLM 等。多种模型：LLaMA、Mistral、Mixtral-MoE、Qwen、Yi、Gemma、Baichuan、ChatGLM、Phi 等等。集成方法：（增量）预训练、指令监督微调、奖励模型训练、PPO 训练、DPO 训练和 ORPO 训练。没有记录，都是调用的命令行。
LLaMA-Factory 基于docker的大模型多卡分布式微调
weixin_45385568的博客
02-13 4695
LLaMA-Factory是一个相当优秀的微调框架。这里提供一个dockerfile和一个train脚本，用于多卡微调，供大家参考。
LlamaFactory 一键式LLM训练、微调工具介绍与实践
h1453586413的博客
08-23 3510
LlamaFactory架构LlamaFactory主要通过Trainer类来实现训练流程，通过设置数据集、模型选型、训练类型、微调超参、模型保存，以及训练状态监控等信息，来开启训练。支持的训练方法支持的训练方法（这里的Pre-Training指的是增量预训练）LlamaFactory和其他框架对比LlamaFactory基于PEFT和TRL进行二次封装，从而可以快速开始SFT和RLHF微调。同时，引入GaLore和Unsloth等方案，能降低训练显存占用。
用通俗易懂的方式讲解大模型：一个强大的 LLM 微调工具 LLaMA Factory
热门推荐
2301_78285120的博客
12-31 1万+
LLM 微调，也叫做 Fine-tuning，是深度学习领域中常见的一种技术，用于将预先训练好的模型适配到特定的任务或数据集上。这个过程包括几个主要步骤：基础模型选择：选择一个通用文本数据的基础语言模型，使其能够理解基本的语言结构和语义。准备训练数据集：选择一个与目标任务相关的较小数据集。微调：在此数据集上训练模型，但通常使用较低的学习率，以保留基础模型学到的知识，同时学习目标任务的特定知识。评估：在目标任务的验证集上评估模型的性能，需要准备评估数据集。
Llama-Factory简介 github介绍页
强化学习曾小健
04-17 1027
可选的额外依赖项：deepspeed、metrics、unsloth、galore、vllm、bitsandbytes、gptq、awq、aqlm、qwen、modelscope、quality。[23/09/23] 我们在项目中集成了 MMLU、C-Eval 和 CMMLU 评估集。如果您在 Hugging Face 模型和数据集的下载中遇到了问题，可以通过下述方法使用魔搭社区。部分数据集的使用需要确认，我们推荐使用下述命令登录您的 Hugging Face 账户。如果您感兴趣请关注我们的。
大模型如何练好“内功”
h1453586413的博客
08-20 344
随着人工智能技术的不断突破，以大模型为代表的生成式人工智能正以前所未有的速度迅猛发展。从自然语言处理到图像识别，从智能推荐到自动驾驶，大模型正逐步渗透到生活的方方面面，展现出巨大的潜力和价值。然而，在高速发展的同时，大模型行业也面临着诸多挑战，练好“内功”成为其持续发展的关键。只有在这些基础能力上不断精进，大模型才能更好地应对复杂多变的应用场景，提供更加精准、可靠的服务。因此，科研人员和企业需要不断投入研发资源，优化算法，提升模型性能。
LLaMA-Factory 让大模型微调变得更简单！！
2401_85325397的博客
09-16 1198
如果只需要构建一份任务相关的数据，就可以轻松通过网页界面的形式进行 Fine-tuning 微调操作， 那么必将大大减轻微调工作量。 今年的 ACL 2024见证了北航和北大合作的突破—论文《LLAMAFACTORY: 统一高效微调超百种语言模型》。他们打造的 LLaMA-Factory，集成了顶尖的训练效率技术，让用户能轻松通过网页界面 LLAMABOARD，无须编码，即对上百个语言模型进行个性化微调。
Gulp插件开发新引擎：unified-engine-gulp概述
- **Unified.js项目支持**：作为一个基于Unified.js项目创建的引擎，它能够利用Unified.js的一系列插件和工具链，丰富了Gulp生态系统。 - **易用性和扩展性**：提供一个示例代码和清晰的API，使得开发者能够较容易地...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值