大模型高效微调PEFT——LoRA

最新推荐文章于 2025-06-18 10:57:37 发布
最新推荐文章于 2025-06-18 10:57:37 发布
阅读量1.5k 收藏 16
点赞数 22
CC 4.0 BY-SA版权
文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/huang101108/article/details/135556072

背景

        随着大型语言模型参数量的不断增加，针对其进行预训练的难度越来越大，全量微调的方式也越来越不可行，如何将大模型部署在消费级显卡上进行训练成为一个热门的研究方向。

        LoRA论文中假设大模型在训练过程中权重的变化具有较低的“内在秩”，允许我们通过优化适应期间密集层变化的秩分解矩阵来 间接训练神经网络中的一些密集层，同时保持预训练权重冻结。简单的说，LoRA冻结了预训练的模型权重，并将可训练的秩分解矩阵注入到Transformer 架构的每一层，极大地减少了下游任务的可训练参数的数量。

        且不会像adapter一样，在网络中插入几层，训练这几层就可以，但是这样会加大网络的深度，加大模型的推理时间。

核心点

之前模型：h=W_{0} x

h=W_{0} x+\Delta W x=W_{0} x+B A x

 即现在的权重为W'=W_{0} +\Delta W =W_{0} +B A

W_{0} \in \mathbb{R}^{d \times {k}}，B \in \mathbb{R}^{d \times {r}}，A \in \mathbb{R}^{r \times {k}}，其中\operatorname{rank} r \ll \min (d, k)

所以训练的参数量会大大降低。\Delta W将W中一些特征进行了放大，在下游任务微调时，就会放大下游任务中相关的特征，这也是为什么用低秩微调有时候比全量微调效果还好（去掉了一些无用的噪声）

A、B一般一个初始化为0，一个采用kaiming_uniform（随机

最低0.47元/天 解锁文章

200万优质内容无限畅学
褪
关注
大模型的实践应用8-利用PEFT和LoRa技术微调大模型(LLM)的原理介绍与指南
微学AI的博客
11-28 510
大家好，我是微学AI，今天给大家介绍一下大模型的应用8-利用PEFT和LoRa技术微调大模型(LLM)的原理介绍与指南，2023年是大语言模型爆发的元年，在我国大语言模型分布就有上百种，随着人工智能技术的不断发展，对于GPT这样的大型语言模型的规模只会变得越来越大。随着模型规模的增大，这些模型的功能和复杂性也随之增加，复杂性和模型大小的增加也会带来新的挑战。训练更大的模型需要更广泛的数据集，并且随着模型的增长，必须调整更多的参数。这可能需要大量计算，因此成本也非常高。
Transformers实战03-PEFT库使用LORA方法微调VIT图像分类。
liaomin416100569的专栏
06-04 5674
PEFT（Parameter-Efficient Fine-Tuning）是一个用于高效地将大型预训练模型适配到各种下游应用的库，而无需对模型的所有参数进行微调，因为这在计算上是非常昂贵的。PEFT 方法只微调少量的（额外的）模型参数——显著降低了计算和存储成本——同时其性能与完全微调的模型相当。这使得在消费者硬件上训练和存储大型语言模型（LLMs）变得更加可行。PEFT 集成了Diffusers和Accelerate库，以提供更快、更简单的方法来加载、训练和使用大型模型进行推理。
[NLP]LLM高效微调(PEFT)--LoRA
摩登都市天空---专栏
07-29 2701
在下游任务训练时，固定模型的其他参数，只优化新增的两个矩阵的权重参数，将W跟新增的通路W1两部分的结果加起来作为最终的结果（两边通路的输入跟输出维度是一致的），即h=Wx+BAx。当针对特定任务进行微调后，模型中权重矩阵其实具有很低的本征秩（intrinsic rank），因此，论文的作者认为权重更新的那部分参数矩阵尽管随机投影到较小的子空间，仍然可以有效的学习，可以理解为针对特定的下游任务这些权重矩阵就不要求满秩。关于秩的选择，通常情况下，rank为4，8，16即可。
手把手实操LoRA高效微调，定制垂直行业深度大模型，让你真正能懂会用！
最新发布
2401_85327249的博客
06-18 958
对大模型进行微调，让通用大模型具备“特殊能力”，能够完成特定的任务。 如果大家的电脑配置跑不了大模型的微调任务，可以申请阿里云ACP考试的免费试用。 老规矩，先看最终效果。 选用的原始大模型是“Qwen2.5-1.5B-Instruct” （因为足够小、足够傻）。 微调的目标是：让其具备解答数学题的能力，其他行业模型微调方法类似 。
peft模型微调_Lora
LLMUZI123456789的博客
03-20 1208
1、增加低秩矩阵：对于每一个要微调的层，LoRA不改变原有模型参数矩阵，而是引入两个低秩矩阵A和B，维度分别为dxr和rxd，其中r远小于d（d是原权重矩阵的列数或行数，通常是模型的隐藏维度大小）。5、合并参数：训练完成后，新学到的低秩矩阵参数与原始模型参数结合，共同作用于模型预测，在保证模型对新任务有良好表现的同时，避免了在推理阶段增加额外的计算负担。3、冻结原始参数：在微调过程中，原有的模型参数W会被冻结，即在训练时不会更新，只针对新增的低秩参数A和B进行优化。
使用peft的lora，微调MAE
高恩阳的博客
04-12 999
三、制作finetune.py。
PEFT学习：使用LORA进行LLM微调
jq_98的博客
09-05 1513
由于LORA,AdaLORA都集成在PEFT上了，所以在使用的时候安装PEFT是必备项。
大语言模型微调实践——LoRA 微调细节
LF_AI的博客
08-21 5771
1. 引言近年来人工智能领域不断进步，大语言模型的崛起引领了自然语言处理的革命。这些参数量巨大的预训练模型，凭借其在大规模数据上学习到的丰富语言表示，为我们带来了前所未有的文本理解和生成能力。然而，要使这些通用模型在特定任务上发挥出色，还需借助微调技术。大语言模型的微调技术已经成为自然语言处理领域的一个焦点，其不断的演化和创新正引领着我们进入一个更加精细、个性化的文本处理时代。在本文中，我们将选取...
大模型训练——PEFT与LORA介绍
IT深耕十余载，大道之简
03-02 1850
具体来说，对于模型中的任意一个权重矩阵W，LoRA会增加一个“旁支”，先用一个Linear层A将数据从dd维降到rr维（其中rr为LoRA的重要超参数，一般会远远小于dd），再用一个Linear层B将数据从rr维变回dd维。在训练过程中，只训练这个“旁支”的参数，而原始的权重矩阵W则被冻结。使用PEFT，即使在计算资源受限的情况下，也可以利用预训练模型的知识来迅速适应新任务，实现高效的迁移学习。在PEFT中，被微调的参数通常是通过特定的方式选择的，以确保这些参数能够对新任务进行有效的学习。
大模型微调---Lora微调实战
niulinbiao的博客
12-21 2482
LoRA是一种参数高效的微调技术，通过低秩转换对大型语言模型进行适应性更新，减少了权重矩阵的更新成本。它通过学习低秩矩阵来调整权重，以适应特定任务，同时保持计算效率。大模型都是过参数化的， 当用于特定任务时， 其实只有一小部分参数起主要作用。也就是参数矩阵维度很高， 但可以用低维矩阵分解近似。具体做法是， 在网络中增加一个旁路结构，旁路是A和B两个矩阵相乘。A矩阵的维度是[d,r]B矩阵的维度是[r,d], 其中r
CMU 10423 Generative AI：lec11 参数高效微调PEFT（LoRA, adapters, prefix tuning, BitFit等）
不精，不诚，不足以动人
09-30 1008
该文件主要介绍了“参数高效微调（Parameter Efficient Fine-Tuning, PEFT）”在深度学习中的应用，尤其是如何在大规模预训练模型（例如大型语言模型和视觉Transformer）上实现高效的微调。PEFT的背景与定义：讨论了在对大型预训练模型进行微调时，传统的全参数微调方法在计算和内存方面非常昂贵，尤其是当模型参数数量非常大时。因此，PEFT旨在以更少的参数实现与全参数微调相当的性能。少样本学习（Few-shot Learning）
参数高效微调PEFT(三)快速入门LoRA、AdaLoRA
qq_44665283的博客
05-31 4233
参数高效微调PEFT(三)快速入门LoRA、AdaLoRA
peft lora微调代码解析，llama2-7b lora微调实战
weixin_45761030的博客
07-25 2141
运行微调使用的peft版本是v0.11.1， 代码解析使用的peft版本是0.11.2.dev0，这个版本单独将dora提取出来了。
大模型PEFT之LoRA
谁怕平生太急
05-16 663
训练：固定预训练权重W，只训练低秩矩阵A和B，保存时只需保存A和B。LoRA实验：通过实验验证了LoRA低秩矩阵的有效性，包括不同r值下的微调效果、不同低秩空间的相交程度、不同层的r值设置，以及预训练权重与微调权重的关系。Adapter Tuning：在模型中添加额外知识模块（Adapter），其余参数保持冻结，降低训练代价，但会增加模型层数和训练推理速度。（B 是降维矩阵，A是升维矩阵，其中 A 正常随机数初始化，B 全 0 初始化，从而保证训练初期的稳定性）一般 α设置为32，r设置为 4。
AI大模型优化技巧：参数高效微调（PEFT）与LoRA微调深度解析
m0_65555479的博客
09-03 1317
参数高效微调（Parameter-Efficient Fine-Tuning，简称PEFT）是一种针对大型预训练模型（如大语言模型）的微调技术，它旨在减少训练参数的数量，从而降低计算和存储成本，同时保持或提升模型性能。• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。PEFT通过仅微调模型中的一小部分参数，而不是整个模型，来适应特定的下游任务。
大模型PEFT(二) 之 大模型LoRA指令微调学习记录（qlora 在最后有补充，流程差不多）
消极的人永远是对的，积极的人选择勇往直前
06-09 2170
增加额外参数:PrefixTuning、Prompt Tuning、Adapter Tuning及其变体。选取一部分参数更新:BitFit。引入重参数化混合高效微调。
一文读懂：LoRA实现大模型LLM微调
热门推荐
weixin_42010722的博客
06-08 1万+
在深度学习中，权重矩阵通常具有完整秩，这意味着权重矩阵的行或列之间没有线性相关关系，也就是说，每个权重在模型中承担了不同的作用，没有冗余。权重矩阵具有完整秩的好处是，模型可以通过学习到的权重进行准确的预测和分类。通过使用低秩矩阵，我们可以降低参数的数量，减少计算和存储的开销，并且仍然保留了大部分原始权重矩阵的关键信息。因此，虽然预训练模型的权重在预训练任务中具有完整秩，但LoRA的作者指出，当预训练的大型语言模型适应新任务时，其固有维度很低，这是根据Aghajanyan等人的研究（2020）得出的。
大模型微调（PEFT）
蜡笔小晴
04-14 1056
利用PEFT包微调大模型
使用 PEFT 和 LoRa 技术微调（fine-tuning）大语言模型指南
Whoisbug的博客
01-11 1576
微调是获取一个已经在某些任务上进行过训练的模型，然后对其进行调整以执行类似任务的过程。当一个新的数据集或任务需要模型进行一些修改时，或者当模型在特定任务上表现不佳时，通常会使用微调。例如，一个经过训练生成故事的模型可以被微调来生成诗歌。这是可能的，因为模型已经学会了如何生成自然语言和编写故事，如果对模型进行适当的调整，这种技能也可以用于生成诗歌。PEFT（参数高效微调）是一组技术或方法，旨在以最节省计算资源和时间的方式微调大型模型，同时又不会损失完全微调所能达到的性能。
参数高效微调（PEFT）
12-28
参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）旨在减少大型预训练模型微调过程中所需的计算资源和时间成本。传统全量微调会更新整个模型的所有参数，这不仅消耗大量算力还容易引发过拟合等问题。为此，...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值