LoRA 面试

于 2025-04-08 13:14:34 发布
阅读量964 收藏 25
点赞数 30
文章标签： 人工智能 深度学习 机器学习 chatgpt
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/hh051020/article/details/147065960
版权

LoRA 系列篇

    • 一、LoRA篇
      • 1.1 什么是 LoRA？
      • 1.2 LoRA 的思路是什么？
      • 1.3 LoRA 的特点是什么？
      • 1.4 简单描述一下 LoRA?

    • 二、QLoRA篇
      • 2.1 QLoRA 的思路是怎么样的？
      • 2.2 QLoRA 的特点是什么？

    • 三、AdaLoRA篇
      • 3.1 AdaLoRA 的思路是怎么样的？

    • 四、LoRA权重是否可以合入原模型？
    • 五、ChatGLM-6B LoRA后的权重多大？
    • 六、LoRA 微调优点是什么？
    • 七、LoRA微调方法为啥能加速训练？
    • 八、如何在已有LoRA模型上继续训练？
    • 九、LoRA 缺点是什么？
    • 十、LoRA这种微调方法和全参数比起来有什么劣势吗？
    • 十一、LORA应该作用于Transformer的哪个参数矩阵？
    • 十二、LoRA 微调参数量怎么确定？
    • 十三、Rank 如何选取？
    • 十四、alpha参数 如何选取？
    • 十五、LoRA 高效微调 如何避免过拟合？
    • 十六、微调大模型时, 优化器如何？
    • 十七、哪些因素会影响内存使用？
    • 十八、LoRA权重是否可以合并？
    • 十九、是否可以逐层调整LoRA的最优rank？
    • 二十、Lora的矩阵怎么初始化？为什么要初始化为全0？
    • 实践篇
      • 1. LoRA 微调计算可训练参数的比例 如何确定？
      • 2. LoRA 微调结果如何保存？

一、LoRA篇

  1. 什么是 LoRA？
  • 介绍：通过低秩分解来模拟参数的改变量，从而以极小的参数量来实现大模型的间接训练。
  1. LoRA 的思路是什么？
  2. 在原模型旁边增加一个旁路，通过低秩分解（先降维再升维）来模拟参数的更新量；
  3. 训练时，原模型固定，只训练降维矩阵A和升维矩阵B；
  4. 推理时，可将BA加到原参数上，不引入额外的推理延迟；
  5. 初始化，A采用高斯分布初始化，B初始化为全0，保证训练开始时旁路为0矩阵；
  6. 可插拔式的切换任务，当前任务W0+B1A1，将lora部分减掉，换成B2A2，即可实现任务切换；

  1. LoRA 的特点是什么？
  • 将BA加到W上可以消除推理延迟；
  • 可以通过可插拔的形式切换到不同的任务；
  • 设计的比较好，简单且效果好；
  1. 简单描述一下 LoRA?

LoRA的实现思想很简单，就是冻结一个预训练模型的矩阵参数，并选择用A和B矩阵来替代，在下游任务时只更 新A和B。

二、QLoRA篇

  1. QLoRA的思路是怎么样的？
  • 使用一种新颖的高精度技术将预训练模型量化为 4 bit；
  • 然后添加一小组可学习的低秩适配器权重，这些权重通过量化权重的反向传播梯度进行微调。
  1. QLoRA 的特点是什么？

使用 QLoRA 微调模型，可以显著降低对于显存的要求。同时，模型训练的速度会慢于LoRA。

三、AdaLoRA篇

3.1 AdaLoRA 的思路是怎么样的？

对LoRA的一种改进，它根据重要性评分动态分配参数预算给权重矩阵，将关键的增量矩阵分配高秩以捕捉更精 细和任务特定的信息，而将较不重要的矩阵的秩降低，以防止过拟合并节省计算预算。

四、LoRA权重是否可以合入原模型？

可以，将训练好的低秩矩阵（B*A）+原模型权重合并（相加），计算出新的权重。

五、ChatGLM-6B LoRA后的权重多大？

rank 8 target_module query_key_value条件下，大约15M。

六、LoRA 微调优点是什么？

  1. 一个中心模型服务多个下游任务，节省参数存储量
  2. 推理阶段不引入额外计算量
  3. 与其它参数高效微调方法正交，可有效组合
  4. 训练任务比较稳定，效果比较好
  5. LoRA 几乎不添加任何推理延迟，因为适配器权重可以与基本模型合并

七、LoRA微调方法为啥能加速训练？

  • 只更新了部分参数：比如LoRA原论文就选择只更新Self Attention的参数，实际使用时我们还可以选择只更新部分层的参数；
  • 减少了通信时间：由于更新的参数量变少了，所以（尤其是多卡训练时）要传输的数据量也变少了，从而减 少了传输时间；
  • 采用了各种低精度加速技术，如FP16、FP8或者INT8量化等。
    这三部分原因确实能加快训练速度，然而它们并不是LoRA所独有的，事实上几乎都有参数高效方法都具有这些 特点。LoRA的优点是它的低秩分解很直观，在不少场景下跟全量微调的效果一致，以及在预测阶段不增加推理成本。
    八、如何在已有LoRA模型上继续训练？
    理解此问题的情形是：已有的lora模型只训练了一部分数据，要训练另一部分数据的话，是在这个lora上继续训 练呢，还是跟base 模型合并后再套一层lora，或者从头开始训练一个lora？
    我认为把之前的LoRA跟base model 合并后，继续训练就可以，为了保留之前的知识和能力，训练新的LoRA 时，加入一些之前的训练数据是需要的。另外，每次都重头来成本高。
    九、LoRA 缺点是什么？
    缺点很明显，参与训练的模型参数量不多，也就百万到千万级别的参数量，所以效果比全量微调差很多。可能在扩散模型上感知没那么强，但在LLM上，个人感觉表现还是差距挺大的。
    十、LoRA这种微调方法和全参数比起来有什么劣势吗？
    如果有足够计算资源以及有10k以上数据，我还是建议全参数微调，lora的一个初衷就是为了解决不够计算资源的 情况下微调，只引入了少量参数，就可以在消费级gpu上训练，但lora的问题在于它不能节省训练时间，相比于
    全量微调，他要训练更久，同时因为可训练参数量很小，在同样大量数据训练下，比不过全量微调。

十一、LORA应该作用于Transformer的哪个参数矩阵？
从上图我们可以看到：

  • 将所有微调参数都放到attention的某一个参数矩阵的效果并不好，将可微调参数平均分配到 Wq 和 Wk 的效果最好
  • 即使是秩仅取4也能在 ∆W 中获得足够的信息

因此在实际操作中，应当将可微调参数分配到多种类型权重矩阵中，而不应该用更大的秩单独微调某种类型的权 重矩阵。

十二、LoRA 微调参数量怎么确定？

LoRA 模型中可训练参数的结果数量取决于低秩更新矩阵的大小，其主要由秩 r 和原始权重矩阵的形状确定。实际使用过程中，通过选择不同的 lora_target 决定训练的参数量。

--lora_target q_proj,k_proj,v_proj,o_proj,gate_proj,up_proj,down_proj

以 LLama为例：

十三、Rank 如何选取？

Rank的取值作者对比了1-64，效果上Rank在4-8之间最好，再高并没有效果提升。不过论文的实验是面向下游单 一监督任务的，因此在指令微调上根据指令分布的广度，Rank选择还是需要在8以上的取值进行测试。

十四、alpha参数 如何选取？

alpha其实是个缩放参数，本质和learning rate相同，所以为了简化我默认让alpha=rank，只调整lr，这样可以简化超参。

十五、LoRA 高效微调 如何避免过拟合？

减小r或增加数据集大小可以帮助减少过拟合。还可以尝试增加优化器的权重衰减率或LoRA层的dropout值。

十六、微调大模型时, 优化器如何？

除了Adam和AdamW，其他优化器如Sophia也值得研究，它使用梯度曲率而非方差进行归一化，可能提高训练效 率和模型性能。

十七、哪些因素会影响内存使用？

内存使用受到模型大小、批量大小、LoRA参数数量以及数据集特性的影响。例如，使用较短的训练序列可以节 省内存。

十八、LoRA权重是否可以合并？

可以将多套LoRA权重合并。训练中保持LoRA权重独立，并在前向传播时添加，训练后可以合并权重以简化操 作。

十九、是否可以逐层调整LoRA的最优rank？

理论上，可以为不同层选择不同的LoRA rank，类似于为不同层设定不同学习率，但由于增加了调优复杂性，实际中很少执行。

二十、Lora的矩阵怎么初始化？为什么要初始化为全0？

矩阵B被初始化为0，而矩阵A正常高斯初始化

如果B，A全都初始化为0，那么缺点与深度网络全0初始化一样，很容易导致梯度消失(因为此时初始所有神经元 的功能都是等价的)。

如果B，A全部高斯初始化，那么在网络训练刚开始就会有概率为得到一个过大的偏移值Δ W 从而引入太多噪声，导致难以收敛。

因此，一部分初始为0，一部分正常初始化是为了在训练开始时维持网络的原有输出(初始偏移为0)，但同时也保 证在真正开始学习后能够更好的收敛。

2025秋招LLM大模型多模态面试题（九）-- LoRA 面试问题大全：从理论到实践
weixin_41496173的博客
10-06 926
随着深度学习模型的不断发展，微调大模型的需求也逐渐增多。然而，传统的全参数微调需要消耗大量的计算资源和显存，对于普通用户和中小企业来说负担较大。为了应对这些问题，LoRA（Low-Rank Adaptation）应运而生。LoRA 是一种高效微调技术，通过低秩分解的方式显著减少训练参数量和内存占用，适合在消费级 GPU 上进行大模型微调。在本文中，我们将通过面试题的形式，深入探讨 LoRA 的核心概念、思路以及在实际应用中的优势与挑战，帮助大家更好地理解这项技术。
[大模型面试]Lora落地 | LoRA (Low Rank Adaption) 技术核心知识详解
强化学习曾小健
05-27 3372
LoRA通过引入低秩矩阵 �A 和 �B 来进行模型微调，其有效性来自于低秩近似能够捕捉数据的主要特征，并且大幅减少了需要更新的参数量。这与PCA和SVD的低秩分解思想有着紧密的联系。通过借鉴这些经典矩阵分解技术，LoRA能够在减少计算资源和存储需求的同时，保持甚至提升模型的性能。通过引入低秩矩阵 �A 和 �B，LoRA 能够有效地近似原始权重矩阵 �W，同时减少参数量并提高微调效率。这种方法利用了低秩矩阵的属性，与 SVD 和 PCA 的低秩近似思想有着紧密的联系。
LoRA面试篇
cancer_s的博客
01-22 885
通过低秩分解来模拟参数的改变量，从而以极小的参数量来实现大模型的简介训练；其思想就是冻结一个预训练模型的矩阵参数，并选择用A和B矩阵来替代，在下游任务时只更新A和B。1.在原模型旁边加一个旁路，通过低秩分解（先降维再升维）来模拟参数的更新量；2.训练时，原模型固定，只训练降维矩阵A和升维矩阵B；3.推理时，可将BA加到原参数上，不引入额外的推理延迟；4.初始化，A采用高斯分布初始化，B初始化为全0，保证训练开始时旁路为0矩阵；
LLM大模型中LoRA是什么？面试经验回答汇总（2024.12月最新）
qq_45591302的博客
07-03 1468
介绍：通过低秩分解来模拟参数的改变量，从而以极小的参数量来实现大模型的间接训练。
NLP高频面试题（十二）——Lora微调的原理、什么是Qlora
最新发布
WeLearnNLP
03-23 875
LoRA（Low-Rank Adaptation）是一种针对大型预训练模型的微调方法，其核心思想是通过低秩矩阵分解的方式高效实现模型参数的微调。传统的微调方法通常需要更新模型所有的参数，而LoRA则通过新增一个并行的低秩结构来间接实现模型参数的更新。QLoRA（Quantized LoRA）是在LoRA基础上提出的一种创新技术，旨在进一步降低模型微调时的内存使用，通过量化预训练模型权重至4-bit，同时结合低秩适配器（LoRA）实现高效的微调。一种针对正态分布数据的最优4-bit量化方法，精度损失极小。
大模型面试帖——LoRA 最硬核面经
2401_85375186的博客
10-31 1089
LoRA（Low-Rank Adaptation）：在机器学习领域，特别是自然语言处理中，LoRA是“Low-Rank Adaptation”的简称，是一种用于微调大型预训练模型的技术。
AI大模型大厂面经——LoRA面试题最全总结
datian1234的博客
09-14 1342
大家的显卡都比较吃紧，LoRA家族越来越壮大，基于LoRA出现了各种各样的改进，最近比较火的一个改进版是dora，听大家反馈口碑也不错。基于PEFT的话用4090 24G显存也可以进行大模型的微调，所以LoRA家族这块还是很有研究和实际落地的潜力。LoRA整个系列分为两个部分：1、LoRA总述2、LoRA家族演进本篇开始介绍第一部分：LoRA总述，尽量以面经问题的形式提出并解答，下面是一个快捷目录。
大模型面试之LoRA
kiiy2的博客
08-02 887
LoRA的解释：一种高效微调预训练神经网络的方法LoRA 解决的问题：🔸 2021年初，微软与OpenAI合作探索GPT-3的商业可行性。🔸 发现仅仅通过提示（prompting）不足以完成生产任务，例如将自然语言转换为代码生成任务。🔸 微调是必要的，但由于模型检查点的规模庞大，成本过高。工作原理：🔸 这两个问题定义了一个二维平面，在这个平面上，全量微调位于一个角（满秩且更新所有参数），而原点代表原始模型。🔸 平面中的任意一点都是一个有效的LoRA配置。
大模型常见面试题 - 常用微调方法LORA和Ptuning的原理
强化学习曾小健
04-16 2160
Stable Diffusion 总共包含三个主要的组件，其中每个组件都拥有一个独立的神经网络1）Clip Text 用于文本编码。输入：文本 输出：77 个 token 嵌入向量，其中每个向量包含 768 个维度2）UNet +Scheduler 在信息（潜）空间中逐步处理 / 扩散信息。输入：文本嵌入和一个由噪声组成的初始多维数组（结构化的数字列表，也叫张量 tensor）。输出：一个经过处理的信息阵列3）自编码解码器（Autoencoder Decoder），使用处理过的。
大模型面经——LoRA最全总结
zhishi0000的博客
08-22 1682
通过低秩分解来模拟参数的改变量，从而以极小的参数量来实现大模型的间接训练。实现思想很简单，就是冻结一个预训练模型的矩阵参数，并选择用A和B矩阵来替代，在下游任务时只更新A和B。
推免面试 [3]PCB设计实验｜LoRa通信技术｜LoRa技术介绍｜LoRa开发与应用｜物联网学习
m0_57656758的博客
03-27 736
2015年由Semtech（升特）成立的开放的、非营利的组织，目前成员已超过500个，致力于LoRaWAN协议的开发和推广，联盟成员包含IBM、思科、法国orange等重量级厂商。
【LLM第一篇】Lora原理
凝眸伏笔的博客
05-04 1257
自然语言处理的一个重要范例包括：对通用领域数据的大规模预训练以及对特定任务或领域的应用。当预训练更大的模型时，重新训练所有模型参数的全面微调变得不太可行。以 GPT-3 175B 为例——部署微调模型的独立实例，每个实例都有 175B 参数，这资源消耗的代价令人望而却步。本文提出了低秩适应（LoRA），它冻结了预训练的模型权重，并将可训练的秩分解矩阵注入到 Transformer 架构的每一层中，大大减少了下游任务的可训练参数的数量。
利用Lora调整和部署 LLM
专注于人工智能领域的小何尚
04-04 2056
LoRA是一种微调方法，它将低秩矩阵引入到LLM架构的每一层中，并且仅训练这些矩阵，同时保持原始LLM权重冻结。它是 NVIDIA NeMo 支持的 LLM 定制工具之一。LLM 功能强大，但通常需要定制，尤其是在用于企业或特定领域的用例时。有许多调整选项，从简单的提示工程到监督微调 (SFT)。调整选项的选择通常基于所需数据集的大小（即时工程的最小值，SFT 的最大值）和计算可用性。LoRA 调优是一种称为参数高效微调 (PEFT) 的调优系列。这些技术是一种中间方法。
一文读懂：LoRA实现大模型LLM微调
热门推荐
weixin_42010722的博客
06-08 1万+
在深度学习中，权重矩阵通常具有完整秩，这意味着权重矩阵的行或列之间没有线性相关关系，也就是说，每个权重在模型中承担了不同的作用，没有冗余。权重矩阵具有完整秩的好处是，模型可以通过学习到的权重进行准确的预测和分类。通过使用低秩矩阵，我们可以降低参数的数量，减少计算和存储的开销，并且仍然保留了大部分原始权重矩阵的关键信息。因此，虽然预训练模型的权重在预训练任务中具有完整秩，但LoRA的作者指出，当预训练的大型语言模型适应新任务时，其固有维度很低，这是根据Aghajanyan等人的研究（2020）得出的。
大模型高效微调-LoRA原理详解和训练过程深入分析
m0_63171455的博客
06-12 9767
LoRA与训练目标是解耦的，但本文设定就是语言模型建模。以下将给出语言建模（可自然推广到序列建模）的基本符号定义，即最大化给定提示的条件概率（本质是极大似然估计）。给定一个参数为\(\mathbf{\Phi}\)预训练的自回归语言模型$ P_{\Phi}(y|x)$。\(x\)为输入，\(y\)为输出note: 为与原文符号一致，下文\(\mathbf{\Phi}\)、\(\mathbf{\Theta}\)、\(\mathbf{W}\)均表示模型参数全参数微调。
大模型实战：使用 LoRA（低阶适应）微调 LLM
2301_81940605的博客
05-02 2281
LLM 是一种基础模型，与传统模型不同，在早期模型中基础模型是在大量数据上进行预训练的，然后我们可以直接将它们用于某些任务用例，也可以对其进行微调以适应某些用例。
LORA技术面试常见问题深度解析
资源摘要信息:"LoRa（Long Range）是一种长距离无线传输技术，适用于远距离、低功耗的物联网应用。其设计旨在支持城市、工业和农业环境中广泛的物联网应用。LoRa技术因其在无需复杂的网络基础设施的情况下提供数公里...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI Echoes

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值