论文阅读笔记——LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS

最新推荐文章于 2025-09-19 18:22:16 发布
原创 最新推荐文章于 2025-09-19 18:22:16 发布 · 1.6k 阅读 · 20 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#论文阅读 #笔记 #语言模型 #人工智能 #机器人 #自然语言处理

LoRA 论文
传统全面微调，对每个任务学习的参数与原始模型相同：
m a x Φ ∑ ( x , y ) ∈ Z ∑ t = 1 ∣ y ∣ l o g ( P Φ ( y t ∣ x , y < t ) ) 式(1) max_{\Phi}\sum_{(x,y)\in Z}\sum^{|y|}_{t=1}log(P_{\Phi}(y_t|x,y<t)) \qquad \text{式(1)} maxΦ​(x,y)∈Z∑​t=1∑∣y∣​log(PΦ​(yt​∣x,y<t))式(1)
LoRA 提出对模型中权重更新部分低秩分解，编码任务特定的参数，大幅减少所需参数规模，同时优化 Θ \Theta Θ 来寻找 Δ Θ \Delta \Theta ΔΘ 。对于 175B 的 GPT-3 参数量只有原来的 0.01%。
m a x Θ ∑ ( x , y ) ∈ Z ∑ t = 1 ∣ y ∣ l o g ( p Φ 0 + Δ Φ ( Θ ) ( y t ∣ x , y < t ) ) max_{\Theta}\sum_{(x,y)\in Z}\sum^{|y|}_{t=1}log(p_{\Phi_0+\Delta \Phi(\Theta})(y_t|x,y<t)) maxΘ​(x,y)∈Z∑​t

最低0.47元/天 解锁文章
LoRA 是 Low-Rank Adaptation of Large Language Models 的简写，即大型语言模型的
08-01
LoRA 是 Low-Rank Adaptation of Large Language Models 的简写，即大型语言模型的低秩适应
LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
qq_43800752的博客
06-01 3255
自然语言处理的一个重要范式是在通用领域数据上进行大规模预训练，然后根据特定任务或领域进行适应性训练。随着我们对模型进行更大规模的预训练，完全微调（重新训练所有模型参数）变得越来越不可行。以GPT-3 175B为例，部署独立的微调模型实例，每个实例有175B个参数，成本过高。我们提出了低秩适应（Low-Rank Adaptation，LoRA）方法，该方法冻结预训练模型的权重，并将可训练的秩分解矩阵注入到Transformer架构的每个层中，从而大大减少了下游任务的可训练参数数量。
[论文笔记]LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
日积月累，天道酬勤
05-16 1921
⭐ 作者提出了LoRA，冻结了预训练模型的权重，将可训练的秩分解矩阵注入到Transformer架构的每一层中，大大减少了下游任务的可训练参数数量。同时秩分解矩阵和原始矩阵可以合并，可以不引入推理延迟。
（LoRA深度解析）LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS论文精读（逐段解析）
weixin_46248968的博客
09-19 1384
【LoRA论文精读】LoRA是一种高效的大型语言模型微调方法，通过低秩分解将权重更新矩阵ΔW分解为两个小矩阵A和B的乘积，大幅减少训练参数量（如GPT-3从175B降至35MB）。该方法冻结预训练权重，仅训练低秩矩阵，在保持模型性能的同时实现10,000倍的参数压缩，且推理时无额外延迟。实验证明LoRA在RoBERTa、GPT等模型上表现优于全参数微调，特别适用于Transformer的注意力权重矩阵适配。
Lora：Low-Rank Adapation of Large Language models
Hanze的博客
04-02 1435
W或W0指的是预训练的权重矩阵，∆W指的是适应过程中的累积梯度更新。这个额外的矩阵是支持热‘插拔的’，是指我可以在不同的下游任务应用不同的矩阵，比如我想做词性标注，我只需要原始的Pre-train model 加上在词性标注数据上finetune 的 BA就可以了，并且速度不受影响。作者假设在微调时，Pre-train model的权重矩阵在过度更新参数时，它的权重矩阵的秩是很低的，于是作者的想法就是把 一些Dense layer的权重替换成低秩分解矩阵，然后作者发现效果也不错。
【论文分享】LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
m0_53162279的博客
10-12 2557
现在大模型一般是预训练模型通过微调实现特定任务。预训练模型更大时，全量微调的实现代价高。本文提出低秩自适应（Low-Rank Adaptation, LoRA）微调技术，它冻结了预训练的模型权重，并将可训练的秩分解矩阵注入到Transformer架构的每一层，从而大大减少了下游任务的可训练参数的数量。GitHub仓库：https://github.com/microsoft/LoRA。
（第24篇）lora论文讲解LoRA: Low-Rank Adaptation of Large Language Models（微调、预训练模型）
weixin_74009895的博客
04-14 892
①微调（Fine-Tuning, FT）对模型所有参数进行完整更新。缺点：参数量大、训练成本高（如 GPT-2 Medium 的可训练参数达 354.92M）。②偏置微调（Bias-only, BitFit）仅训练模型中的偏置参数，其余参数冻结。参数量小，但效果可能不如其他方法。③前缀嵌入微调（Prefix Embedding Tuning, PreEmbed）在输入中插入优化的提示标记（Prompt）作为额外的嵌入，模型根据这些标记调整输出。可训练参数量与标记长度成正比。
【学习笔记】LoRA: Low-Rank Adaptation of Large Language Models
weixin_45838549的博客
03-15 1271
TitleLoRA: Low-Rank Adaptation of Large Language ModelsJournal ()AuthorsHu Edward J.,Shen Yelong,Wallis Phillip,Allen-Zhu Zeyuan,Li Yuanzhi,Wang Shean,Wang Lu,Chen WeizhuPub.date2021-10-16将大模型应用于下游任务时，通常需要进行微调，即更新预训练模型的所有参数。微调的主要缺点是新模型包含的参数与原模型一样多。存储和加载除预训
[论文阅读笔记77]LoRA：Low-Rank Adaptation of Large Language Models
ld326的专栏
06-13 3484
从效果来看，不论预训练模型的大小，LoRA采用更少的参数，可以达到全参模型的更好的效果。
【论文精读笔记】O-LoRA: Orthogonal Subspace Learning for Language Model Continual Learning
weixin_45225032的博客
11-24 2914
O-LoRA阅读笔记，EMNLP2023复旦大学工作。介绍了一种O-LoRA方法，将多个LoRA块正交放置，通过限制LoRA块中A矩阵的正交性（矩阵运算为0）减少不同任务之间的干扰从而解决持续学习中的灾难性遗忘问题。
【NLP经典论文精读】LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
HERODING23的博客
06-18 5585
当下大模型时代最火的低资源微调大模型方法之一，方法简单易懂，道理清晰明了，对未来的工作有很强的启发性。如果想要深入了解LoRA的底层原理，建议仔细看一看这篇文章，如果只是应用，那么简单了解就好了~大模型预训练后的全量微调往往由于算力缺口而不可行，因此本文提出低秩适应，即LoRA，它冻结了预训练模型的权重，并将可训练的低秩分解矩阵注入到Transformer的每一层，大大减少了下游任务的参数量。与GPT-3相比，LoRA可以减少10000倍的参数训练量和3倍的显存需求。
[论文精读]LoRA: Low-Rank Adaptation of Large Language Models
m0_52911108的博客
10-31 1813
在原始 PLM (Pre-trained Language Model) 旁边增加一个旁路，做一个降维再升维的操作，来模拟所谓的。训练的时候固定 PLM 的参数，只训练降维矩阵A与升维矩阵B。而模型的输入输出维度不变，输出时将BA与 PLM 的参数叠加。A用随机高斯分布初始化，B用 0 矩阵初始化 ，保证训练的开始此旁路矩阵依然是 0 矩阵。
【文献阅读】LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
idiotyi的博客
06-07 1102
adapter-based的方法通常是利用一个MLP或者一个prefix-based方法，导致模型不允许长序列的输入。不同于adapter-based的方法，LORA是针对原始模型训练的。LORA微调时，我们可以通过设置r来达到恢复全量微调的效果。因为LORA在适应过程中不要求对权重矩阵的累积梯度更新具有完整的秩。这个缩放可以减小当r改变时，我们重新微调参数的需要。对于不同的下游任务，只用计算BA和其变化量的差值就可以了。对于A采用一个随机的高斯初始化，对于B采用0初始化。
lora:low-rank adaption of large language models
liguandong
03-10 3033
根据之前的一些工作，发现大模型其实是过参数化的， 有更小的一个内在维度，于是文章做了一个假设，模型在任务适配过程中，参数的改变量是低秩的，在训练过程中，lora单独去学习这个改变量，而不是去学习模型的参数，通过把最终训练得到的参数分解为原参数W0和该变量deltaW进行相加，论文假设deltaW是低秩的，把deltaW进一步拆分为低秩矩阵A和低秩矩阵B，如图1所示，而在推理的过程中，由于模型参数已经固定不再变动，这时候把模型的改变量直接放到模型里，这样在推理的计算过程中，就避免了一次额外的矩阵乘法开销。
LORA: LOW-RANK ADAPTATION OF LARGE LAN-GUAGE MODELS
Je1zvz的博客
03-08 1155
1) 提出背景大模型时代，通常参数都是上亿级别的，若对于每个具体任务都要去对大模型进行全局微调，那么算力和资源的浪费是巨大的。根据流形学习思想，对于数据有用的特征通常集中于低维流形区域。我们想去微调，实际上只是让部分特征的权值更大而已，而这部分特征也是低维的，我们没有必要小题大做将整个模型的参数都动一遍。鉴于此思想，提出了LoRA（Low - Rank Adaptation), 既冻结住预训练好的大模型，插入可训练低维压缩矩阵到每一层（本文是插入到transformer层）。
【论文笔记】LoRA LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
Yulki的博客
06-20 3106
随着模型越来越大，全量微调变得越来越不可行。作者提出了低秩适配器（LoRA），它冻结了预训练的模型权重，并将可训练的秩分解矩阵注入到 Transformer 架构的每一层中，大大减少了下游任务的可训练参数的数量。在GPT-3 175B使用Adam上，与全量微调相比，LoRA减少了10，000倍参数量，减少了3倍GPU内存消耗。🧐与Adapter相比，没有额外的推理延迟下面是对语言建模问题的简要描述，特别是在给定特定任务提示的情况下条件概率的最大化。
【论文阅读】LoRA: Low-Rank Adaptation of Large Language Models
weixin_57974242的博客
12-14 2173
本文中的重新参数化（重参数化），只有A和B是可训练的。上图中，左边的蓝色的部分，冻住了。右边的橙色部分，是可训练的。注意，r = rank，即矩阵的秩，可以是非常小的一个量。(例如，r=1, 2 在上面图1中）上面还有个+号，是把左右两个分支，合并起来了。下面的输入是x，一个d维度（例如，可以是d=12288）的向量；上面的输出是h，也是一个向量。
LoRA模型（Low-Rank Adaptation of Large Language Models）的技术综述
最新发布
09-23
以下是关于LoRA（Low-Rank Adaptation）模型的技术综述，基于核心原理和应用特性系统化阐述： --- ### 一、技术背景与核心问题 大规模语言模型（LLMs）全参数微调存在两大瓶颈： 1. **存储成本高**：为每个下游...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值