# LLM高效微调详解-从Adpter、PrefixTuning到LoRA

最新推荐文章于 2025-05-19 10:23:36 发布
原创 最新推荐文章于 2025-05-19 10:23:36 发布 · 1.3k 阅读 · 27 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #语言模型 #自然语言处理 #大模型 #机器学习 #深度学习 #llm

一、背景

图片

目前NLP主流范式是在大量通用数据上进行预训练语言模型训练，然后再针对特定下游任务进行微调，达到领域适应（迁移学习）的目的。

图片Context Learning v.s. SFT

指令微调是预训练语言模型微调的主流范式，其目的是尽量让下游任务的形式尽量接近预训练任务。

从而减少下游任务和预训练任务之间的Gap, 实现预训练语言模型适应下游任务，而非下游任务去适应模型

图片

指令微调的效果要优于基于Zero/Few-shot的提示词工程的上下文学习。

但随着预训练语言模型进入LLM时代，其参数量愈发庞大。全量微调模型所有参数所需的显存早已水涨船高。

例如：

全参微调Qwen1.5-7B-Chat预估要2张80GB的A800，160GB显存 全参微调Qwen1.5-72B-Chat预估要20张80GB的A800，至少1600GB显存

而且，通常不同的下游任务还需要LLM的全量参数，对于算法服务部署来说简直是个灾难（当然，一种折衷做法就是全量微调后把增量参数进行SVD分解保存，推理时再合并参数 ）。

图片

为了寻求一个不更新全部参数的廉价微调方案，之前一些预训练语言模型的高效微调(Parameter Efficient, PEFT)工作，要么插入一些参数或学习外部模块来适应新的下游任务。

图片

接下来将介绍如下4个PEFT方法（重点是主流的LoRA）：

  • Adatper Tuning
  • Prompt Tuning
  • Prefix Tuning
  • LoRA

图片

二、参数高效微调

2.1 Adapter Tuning

Adapter Tuning试图在Transformer Layer的Self-Attetion+

最低0.47元/天 解锁文章
LLM - 使用 LLaMA-Factory 微调 Qwen2-VL SFT(LoRA) 图像数据集 教程 (2)
AGI
11-12 3655
LLaMA-Factory 是开源的大模型微调框架，用于高效地微调和部署大语言模型，支持多种预训练模型和微调算法，提供完整的工具和接口，对于预训练的模型进行定制化的训练和调整，以适应特定的应用场景。
LLM - 配置 ModelScope SWIFT 测试 Qwen2-VL 图像微调(LoRA) 教程(2)
AGI
10-12 1973
SWIFT 即 Scalable lightWeight Infrastructure for FineTuning (可扩展轻量级微调基础设施)，是高效、轻量级的模型微调和推理框架，支持大语言模型(LLM) 和 多模态大型模型(MLLM) 的训练、推理、评估和部署。可以将 SWIFT 框架直接应用到研究和生产环境中，实现从模型训练和评估到应用的完整工作流程。
NLP论文解读：无需模板且高效的语言微调模型（上）
NLPlunwenjiedu的博客
03-11 737
在12个NLP任务中，这种微调方法（PERFECT）在简单高效的同时，取得了与SOTA方法（如PET提示学习模型）相近甚至更高的结果。
LLM高效参数微调方法：从Prefix Tuning、Prompt Tuning、P-Tuning V1/V2到LoRA、QLoRA(含对模型量化的解释)
结构之法 算法之道
08-05 2万+
常规部分的正向传播由transformers所定义，而LoRA部分的正向传播则由LinearLayer_LoRA(nn.Module)的forward()所定义，即“LoRA层的两条分支结果进行加和”，如下图所示『一般用随机高斯分布初始化，当然实际代码实现时，比如微软的deepspeed chat在用到LoRA时，一开始通过0矩阵占位，然后调用搭配ReLU激活函数的kaiming均匀分布初始化。，相当于在训练期间，较小的权重矩阵(下图中的A和B)是分开的，但一旦训练完成，权重可以合并到一个新权重矩阵中。
【大模型微调】一文掌握7种大模型微调的方法
热门推荐
python123456_的博客
05-16 5万+
本篇文章深入分析了大型模型微调的基本理念和多样化技术，细致介绍了LoRA、适配器调整(Adapter Tuning)、前缀调整(Prefix Tuning)等多个微调方法。详细讨论了每一种策略的基本原则、主要优点以及适宜应用场景，使得读者可以依据特定的应用要求和计算资源限制，挑选最适合的微调方案。大型语言模型(LLM)的训练过程通常分为两大阶段：阶段一：预训练阶段在这个阶段，大型模型会在大规模的无标签数据集上接受训练，目标是使模型掌握语言的统计特征和基础知识。
高效微调算法 (Parameter-Efficient Fine-tuning, PEFT) 详解
YPeng_Gao的博客
03-11 1817
通常情况下， 只需要存储少量的微调参数 (例如，Adapter 模块参数，Prefix 参数，LoRA 适配器参数)， 原始预训练模型参数保持冻结。全参数微调需要更新 PLMs 的所有参数， 对于参数规模巨大的模型 (例如，数十亿、千亿参数)， 微调过程需要消耗大量的计算资源 (GPU 算力) 和时间。例如， 对于文本分类任务， 可以将 Prompt 向量拼接在输入文本之前， 引导模型预测文本的类别。， 即模型在适应新任务的同时， 会遗忘在预训练阶段学习到的通用知识， 尤其是在下游任务数据量较小的情况下。
参数高效微调(BitFit)
yitang的博客
12-11 972
BitFit 是一种在小规模数据集上进行微调（fine-tuning）的技术，主要应用于大规模预训练模型，尤其是在深度学习和自然语言处理（NLP）领域中。BitFit 通过仅微调模型中的偏置项（bias term），而不更新模型的其他参数（如权重），来实现高效且节省资源的微调方式。相比传统的微调方法，BitFit 大大减少了计算和存储开销，同时还能在一定程度上保留模型的性能。
大模型高效微调详解-从Adpter、PrefixTuning到LoRA
weixin_53880910的博客
06-12 1210
目前NLP主流范式是在大量通用数据上进行预训练语言模型训练，然后再针对特定下游任务进行微调，达到领域适应（迁移学习）的目的。
详解LLM参数高效微调：从Adpter、PrefixTuning到LoRA
lqfarmer的博客
06-14 535
• LoRA。
大模型高效参数微调技术（Prompt-Tuning、Prefix Tuning、P-Tuning、LoRA...）
酒酿小圆子呀～
07-13 2632
在整个NLP领域，整个发展历程是朝着精度更高、少监督，甚至无监督的方向发展的。而 Prompt-Tuning是目前学术界向这个方向进军最新也是最火的研究成果。
如何高效微调大模型？五大前沿 PEFT 技术为你揭晓，零基础入门到精通，收藏这一篇就够了
Python_0011的博客
08-01 893
大模型的微调一直是一个复杂而资源密集的任务。然而，近年来出现了一些高效的微调技术（PEFT），使得这一过程变得更加简便和高效。本文将详细介绍几种主要的 PEFT 技术，包括 Adapter Tuning、Prefix Tuning、Prompt Tuning、P-Tuning v1 和 P-Tuning v2。Adapter Tuning 是一种在 2019 年提出的创新微调技术，旨在通过添加额外的适配层来提高模型的微调效率。
一文搞懂！如何高效微调你的 LLM
2401_85379281的博客
12-19 1106
当前以 ChatGPT 为代表的预训练语言模型（PLM）规模变得越来越大，在消费级硬件上进行全量微调（Full Fine-Tuning）变得不可行。此外，为每个下游任务单独存储和部署微调模型变得非常昂贵，因为微调模型与原始预训练模型的大小相同。方法被提出来解决这两个问题，。微调大规模 PLM 所需的资源成本通常高得令人望而却步。在这方面，，同时最先进的 PEFT 技术也能实现了与全量微调相当的性能。
【自然语言处理】大模型高效微调：PEFT 使用案例
wzk4869的博客
08-09 6604
【自然语言处理】大模型高效微调：PEFT 使用案例
大模型的微调技术（高效微调原理篇）
ferriswym的博客
03-21 1183
公司有需求做农业方向的大模型应用以及Agent助手，那么适配农业数据就非常重要。但众所周知，大模型的全量微调对算力资源要求巨大，在现实的限制条件下基本“玩不起”，那么高效微调技术就非常必要。为了更好地对微调技术选型和应用，本文整理了常用参数高效微调的方法原理。
大模型微调（Fine-tuning）全解：微调基础概念介绍，高效微调的应用场景
最新发布
大模型训练
05-19 882
所谓大模型微调，指的在已有的大规模预训练模型基础上，通过对标注数据进行训练，进一步优化 模型的表现，以适应特定任务或场景的需求。不同于RAG或者Agent技术，通过搭建工作流来优化模型表现，微调是通过修改模型参数来优化模型能力，是一种能够让模型“永久”掌握某种能力的方法。
大语言模型微调和PEFT高效微调
学习记录，厚积薄发
06-28 2623
大模型微调
终于有人把大模型11种微调方法说清楚了！
javatiange的博客
04-24 1293
该方法来源于量化和适应的自由度不平衡的思想。为确保增加或减少秩不会明显阻碍模型的表现，在训练过程中通过对LORA块对不同秩的信息内容进行排序，再结合预定义的随机分布中进行抽样，来对LORA块镜像上投影矩阵和下投影矩阵截断，最终确认单个LORA块的大小，如图4所示。由于在训练中只需要为每个任务存储前缀，前缀调优的轻量级设计避免了存储和计算资源的浪费，同时保持了模型的性能，具有模块化和高效利用空间的特点，有望在NLP任务中提供高效的解决方案。此外，与LORA相比，该模型在更广泛的秩范围内展现出了卓越的性能。
大模型参数高效微调（PEFT）技术解析及微调加速实践
2301_76161259的博客
06-06 2997
本文详细介绍了几种高效微调方法的原理解析和实验效果对比，并基于Unsloth做了一些微调加速的实践尝试。实验效果显示结合优秀的低参微调方法和微调加速，完全可以做到极为高效的微调大模型，可以在极低的资源占用上得到媲美全参微调的效果。作者介绍：刘辉，58同城TEG-AILab大语言模型算法工程师，主要负责灵犀大语言模型的SFT微调工作。读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用如果你是零基础小白，想快速入门大模型是可以考虑的。一方面是学习时间相对较短，学习内容更全面更集中。
DeepSeek-llm-7B-Chat微调
02-24
### 微调 DeepSeek-llm-7B-Chat 模型 对于微调 DeepSeek-llm-7B-Chat 模型，主要目标是在保持原有对话流畅性和上下文理解的基础上，针对特定应用场景进一步提升性能。以下是具体方法： #### 准备数据集 为了有效微调模型，需准备高质量的数据集。该数据集应包含大量与预期应用场景密切相关的对话样本。这些样本不仅有助于改进模型的语言理解和生成能力，还能帮助调整其风格和语气以更好地适应实际需求。 #### 使用 Hugging Face Transformers 库 Hugging Face 提供了一个强大的工具包来简化这一过程。通过加载预训练好的 DeepSeek-llm-7B-Chat 权重文件作为起点，并在此基础上继续训练，可以显著减少计算成本并加快收敛速度。 ```python from transformers import AutoModelForCausalLM, Trainer, TrainingArguments model_name_or_path = "DeepSeek-LM/deepseek-llm-7b-chat" tokenizer_name = model_name_or_path # 加载预训练模型 model = AutoModelForCausalLM.from_pretrained(model_name_or_path) # 定义训练参数 training_args = TrainingArguments( output_dir="./results", per_device_train_batch_size=8, num_train_epochs=3, logging_steps=10, save_strategy="epoch", evaluation_strategy="epoch", learning_rate=5e-5, ) ``` #### 自定义损失函数 考虑到 chat 版本已经过特殊优化，在某些情况下可能需要设计更复杂的损失函数来引导模型学习更加自然的人类交流模式。这可以通过引入额外的奖励机制或惩罚项实现，比如鼓励简洁明了的回答或是避免重复表述等特性[^1]。 #### 数据增强策略 采用适当的数据增强手段能够提高泛化能力和鲁棒性。例如，可以在输入序列中随机插入噪声词、交换相邻词语位置等方式增加多样性；也可以尝试多轮次对话模拟真实世界中的复杂交互情境[^2]。 #### 训练流程监控 在整个过程中持续跟踪评估指标变化趋势非常重要。除了常见的困惑度外，还可以考虑加入 BLEU 分数、ROUGE 值等人机评价标准用于衡量生成质量的好坏程度。同时也要密切关注 GPU 显存占用情况确保稳定运行。 完成上述步骤之后即可获得经过针对性强化后的 DeepSeek-llm-7B-Chat 模型版本，从而为特定业务提供更为精准有效的支持服务。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值