文献阅读：LoRA: Low-Rank Adaptation of Large Language Models

最新推荐文章于 2025-03-14 12:44:03 发布
原创 最新推荐文章于 2025-03-14 12:44:03 发布 · 1.8k 阅读 · 24 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#LoRA #微软 #LLM #finetune #Adapter

本文介绍了微软在2021年的文章中提出的LoRA方法，通过不损伤模型效果的方式，通过额外的扰动模块减小大模型finetune的参数量，加快推理速度。实验结果显示LoRA在Bert和GPT系列模型中效果显著，有助于解决大模型参数量过大导致的内存和速度问题。

1. 文章简介

这篇文章是微软在21年的一篇文章，不过我了解得比较晚，最近才发现有这个工作，就匆匆地扫了眼里面的内容。

如前所述，这篇文章是21年的一个工作了，当时应该是GPT3刚出，LLM的影响力还没有那么大，主流的范式还是使用大数据进行预训练之后在小数据集上进行finetune。

因此，针对大模型的finetune优化还是一个非常关键的问题，尤其当参数量巨大而普遍使用的GPU显存并没有那么大的时候，如何在不损失模型效果的情况下缩小模型以及加速推理就是一个巨大的问题。

而这篇文章就是在这里进行了一些讨论，给出了一个名为LoRA的方法，优化了模型finetune，具体来说就是通过LoRA的方式在不损伤模型效果的前提下缩减了模型的参数总量，从而大幅缩减了模型finetune所需的内存，提升finetune的速度。

下面，我们就来看一下LoRA的具体方法设计以及对应的实验效果考察。

2. 方法介绍

LoRA的整体思路个人觉得还是非常巧妙的。

众所周知，finetune的本质是在小的特定数据集下对预训练大模型的参数进行微调，使得其能够在保留大数据预训练的只是前提下，在特定的小数据集当中获得更好的表现。因此，finetune的本质就是对模型增加一个微扰，使得其收敛到一个更适合于某特定任务的局部最优点。

而LoRA的核心思路就是，直接freeze模型的全部参数，然后额外给模型增加一个扰动的module，来模拟finetune之后参数改变的效果。如此一来，只要这些扰动的module参数量够小且推理够快，就不会影响模型整体的inference成本，且可以大幅地缩减模型finetune的开销，因为我们只需要训练极小量的一部分参数即可。

我们给出文中的LoRA结构示意图如下：

在这里插入图片描述

对应的数学公式如下：

h = W 0 ⋅ x + Δ W ⋅ x = W 0 ⋅ x + B A x h = W_0 \cdot x + \Delta W \cdot x = W_0 \cdot x + BAx h=W

最低0.47元/天 解锁文章
[论文笔记]LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
日积月累，天道酬勤
05-16 1936
⭐ 作者提出了LoRA，冻结了预训练模型的权重，将可训练的秩分解矩阵注入到Transformer架构的每一层中，大大减少了下游任务的可训练参数数量。同时秩分解矩阵和原始矩阵可以合并，可以不引入推理延迟。
【学习笔记】LoRA: Low-Rank Adaptation of Large Language Models
weixin_45838549的博客
03-15 1276
TitleLoRA: Low-Rank Adaptation of Large Language ModelsJournal ()AuthorsHu Edward J.,Shen Yelong,Wallis Phillip,Allen-Zhu Zeyuan,Li Yuanzhi,Wang Shean,Wang Lu,Chen WeizhuPub.date2021-10-16将大模型应用于下游任务时，通常需要进行微调，即更新预训练模型的所有参数。微调的主要缺点是新模型包含的参数与原模型一样多。存储和加载除预训
【论文分享】LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
m0_53162279的博客
10-12 2580
现在大模型一般是预训练模型通过微调实现特定任务。预训练模型更大时，全量微调的实现代价高。本文提出低秩自适应（Low-Rank Adaptation, LoRA）微调技术，它冻结了预训练的模型权重，并将可训练的秩分解矩阵注入到Transformer架构的每一层，从而大大减少了下游任务的可训练参数的数量。GitHub仓库：https://github.com/microsoft/LoRA。
LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
qq_43800752的博客
06-01 3271
自然语言处理的一个重要范式是在通用领域数据上进行大规模预训练，然后根据特定任务或领域进行适应性训练。随着我们对模型进行更大规模的预训练，完全微调（重新训练所有模型参数）变得越来越不可行。以GPT-3 175B为例，部署独立的微调模型实例，每个实例有175B个参数，成本过高。我们提出了低秩适应（Low-Rank Adaptation，LoRA）方法，该方法冻结预训练模型的权重，并将可训练的秩分解矩阵注入到Transformer架构的每个层中，从而大大减少了下游任务的可训练参数数量。
Lora：Low-Rank Adapation of Large Language models
Hanze的博客
04-02 1439
W或W0指的是预训练的权重矩阵，∆W指的是适应过程中的累积梯度更新。这个额外的矩阵是支持热‘插拔的’，是指我可以在不同的下游任务应用不同的矩阵，比如我想做词性标注，我只需要原始的Pre-train model 加上在词性标注数据上finetune 的 BA就可以了，并且速度不受影响。作者假设在微调时，Pre-train model的权重矩阵在过度更新参数时，它的权重矩阵的秩是很低的，于是作者的想法就是把 一些Dense layer的权重替换成低秩分解矩阵，然后作者发现效果也不错。
【论文笔记】LoRA: Low-Rank Adaptation of Large Language Models
小嗷犬的博客
11-17 1555
自然语言处理的一个重要范例是在通用领域数据上进行大规模预训练，并适应特定任务或领域。随着我们预训练更大规模的模型，全量微调，即重新训练所有模型参数，变得越来越不可行。以GPT-3 175B为例——部署独立实例的微调模型，每个模型都有175B个参数，成本过高。我们提出了低秩适应，或称LoRA，它冻结预训练模型的权重，并将可训练的秩分解矩阵注入到Transformer架构的每一层，极大地减少了下游任务的可训练参数数量。
精选资源
LoRA 是 Low-Rank Adaptation of Large Language Models 的简写，即大型语言模型的
08-01
LoRA，全称为Low-Rank Adaptation of Large Language Models，是一种针对大型语言模型进行有效微调的技术。在当前的自然语言处理（NLP）领域，预训练的大型语言模型如BERT、GPT或T5等，已经成为解决各种任务的基础。...
论文阅读笔记——LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
Multiple_x的博客
03-14 1654
LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS 论文阅读笔记
【文献阅读】LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
idiotyi的博客
06-07 1102
adapter-based的方法通常是利用一个MLP或者一个prefix-based方法，导致模型不允许长序列的输入。不同于adapter-based的方法，LORA是针对原始模型训练的。LORA微调时，我们可以通过设置r来达到恢复全量微调的效果。因为LORA在适应过程中不要求对权重矩阵的累积梯度更新具有完整的秩。这个缩放可以减小当r改变时，我们重新微调参数的需要。对于不同的下游任务，只用计算BA和其变化量的差值就可以了。对于A采用一个随机的高斯初始化，对于B采用0初始化。
[论文精读]LoRA: Low-Rank Adaptation of Large Language Models
m0_52911108的博客
10-31 1821
在原始 PLM (Pre-trained Language Model) 旁边增加一个旁路，做一个降维再升维的操作，来模拟所谓的。训练的时候固定 PLM 的参数，只训练降维矩阵A与升维矩阵B。而模型的输入输出维度不变，输出时将BA与 PLM 的参数叠加。A用随机高斯分布初始化，B用 0 矩阵初始化 ，保证训练的开始此旁路矩阵依然是 0 矩阵。
【NLP经典论文精读】LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
HERODING23的博客
06-18 5599
当下大模型时代最火的低资源微调大模型方法之一，方法简单易懂，道理清晰明了，对未来的工作有很强的启发性。如果想要深入了解LoRA的底层原理，建议仔细看一看这篇文章，如果只是应用，那么简单了解就好了~大模型预训练后的全量微调往往由于算力缺口而不可行，因此本文提出低秩适应，即LoRA，它冻结了预训练模型的权重，并将可训练的低秩分解矩阵注入到Transformer的每一层，大大减少了下游任务的参数量。与GPT-3相比，LoRA可以减少10000倍的参数训练量和3倍的显存需求。
lora:low-rank adaption of large language models
liguandong
03-10 3042
根据之前的一些工作，发现大模型其实是过参数化的， 有更小的一个内在维度，于是文章做了一个假设，模型在任务适配过程中，参数的改变量是低秩的，在训练过程中，lora单独去学习这个改变量，而不是去学习模型的参数，通过把最终训练得到的参数分解为原参数W0和该变量deltaW进行相加，论文假设deltaW是低秩的，把deltaW进一步拆分为低秩矩阵A和低秩矩阵B，如图1所示，而在推理的过程中，由于模型参数已经固定不再变动，这时候把模型的改变量直接放到模型里，这样在推理的计算过程中，就避免了一次额外的矩阵乘法开销。
【论文速读】LoRA：Low-rank adaptation of large language models
weixin_43457608的博客
10-14 1113
自然语言处理的一个重要范例包括对一般领域数据进行大规模的预训练和对特定任务或领域的适应。当我们对更大的模型进行预训练时，重新训练所有模型参数的完全微调就变得不那么可行了。以GPT-3 175B为例——部署微调模型的独立实例，每个模型都有175B参数，这是非常昂贵的。我们提出了Low-Rank Adaptation，或称LoRA，它冻结了预先训练的模型权值，并将可训练的秩分解矩阵注入变压器架构的每一层，大大减少了下游任务的可训练参数的数量。
LORA: LOW-RANK ADAPTATION OF LARGE LAN-GUAGE MODELS
Je1zvz的博客
03-08 1160
1) 提出背景大模型时代，通常参数都是上亿级别的，若对于每个具体任务都要去对大模型进行全局微调，那么算力和资源的浪费是巨大的。根据流形学习思想，对于数据有用的特征通常集中于低维流形区域。我们想去微调，实际上只是让部分特征的权值更大而已，而这部分特征也是低维的，我们没有必要小题大做将整个模型的参数都动一遍。鉴于此思想，提出了LoRA（Low - Rank Adaptation), 既冻结住预训练好的大模型，插入可训练低维压缩矩阵到每一层（本文是插入到transformer层）。
【论文笔记】LoRA LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
Yulki的博客
06-20 3126
随着模型越来越大，全量微调变得越来越不可行。作者提出了低秩适配器（LoRA），它冻结了预训练的模型权重，并将可训练的秩分解矩阵注入到 Transformer 架构的每一层中，大大减少了下游任务的可训练参数的数量。在GPT-3 175B使用Adam上，与全量微调相比，LoRA减少了10，000倍参数量，减少了3倍GPU内存消耗。🧐与Adapter相比，没有额外的推理延迟下面是对语言建模问题的简要描述，特别是在给定特定任务提示的情况下条件概率的最大化。
[论文阅读笔记77]LoRA：Low-Rank Adaptation of Large Language Models
ld326的专栏
06-13 3489
从效果来看，不论预训练模型的大小，LoRA采用更少的参数，可以达到全参模型的更好的效果。
【论文阅读】LoRA: Low-Rank Adaptation of Large Language Models
weixin_57974242的博客
12-14 2180
本文中的重新参数化（重参数化），只有A和B是可训练的。上图中，左边的蓝色的部分，冻住了。右边的橙色部分，是可训练的。注意，r = rank，即矩阵的秩，可以是非常小的一个量。(例如，r=1, 2 在上面图1中）上面还有个+号，是把左右两个分支，合并起来了。下面的输入是x，一个d维度（例如，可以是d=12288）的向量；上面的输出是h，也是一个向量。
LoRA模型（Low-Rank Adaptation of Large Language Models）的技术综述
最新发布
09-23
以下是关于LoRA（Low-Rank Adaptation）模型的技术综述，基于核心原理和应用特性系统化阐述： --- ### 一、技术背景与核心问题 大规模语言模型（LLMs）全参数微调存在两大瓶颈： 1. **存储成本高**：为每个下游...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值