Lora与QLora

原创 已于 2025-12-07 17:52:43 修改 · 263 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #人工智能

于 2025-12-07 17:45:31 首次发布

首先声明，我也就是草寮的随便写写，有不对的地方，骂轻点

Lora回顾：

在模型训练时，经主要训练的大参数层进行平替并行性训练，如图

这个过程是怎样的呢？

在训练时，就相当于外挂一个参数层，这个参数层里面的参数来自原来的对应的层，

不过这个外挂的参数相对于之前的比如20000x768变成了两个低秩矩阵

20000x8和8x768

这个外挂的层就相当于将原来的参数量进行了一个缩减

那么在训练时，两个层是并行同时输入的，只不过原来的层不参与训练，外挂的层参与训练，

输入经过两个层输出之后再进行相加，得出这两个层共同的结果，然后只有外挂的层进行梯度的反向传播

我觉得原层目的是辅助外挂的层进行训练，只是我觉得奥~

训练完后，外挂的层再覆盖原来层对应的参数，实现一个合并，得到最终的训练的模型

综上所述，Lora只是在训练的时候依赖外挂低秩矩阵这一技术，只是训练了部分参数，加快了训练，但是训练完成后由于参数合并的操作，最终模型的大小是不改变的。
 


那么QLoRa呢？

QLoRa是在Lora基础上，对于我们外挂层对应的层以外的其它的层，在训练的时候进行一个量化训练的操作，什么意思呢？

也就是原模型由16bit变为4bit

因为输入是16bit的，所以必须模型参数同样是16bit才能计算，那么在训练时，不参与训练的对应层的其它部分层在与输入做计算时变成16bit，他这部分负责完成后，他这部分变成4bit，意思就是计算时变回来

就是在训练模型对应需要训练的层的时候这部分参数采由4bit变16bit，但他们不参与训练，真正参与训练的是对应层的外挂层，最后保存的时候，这些不参与训练的层的参数仍然保存原来的精度。这就在一定程度上降低显存的使用，

如图

这个图画的有点不对劲，他是第一个块该他计算了，他由4bit变成16bit，他计算完了就又变成4bit，也就是一层一层变，一层一层计算，一层一层变回4bit

大模型基础知识-LoRA与QLoRA
与神共舞
07-15 2498
QLoRA (Quantized Low-Rank Adaptation) 是一种结合了模型量化和低秩适配的技术，旨在减少大规模预训练模型微调和部署的计算和存储成本。参数高效：通过这种方式，只需微调少量参数（即低秩矩阵的参数），而非整个模型的参数，从而大大降低了存储和计算成本。低秩适配 (LoRA)：在量化后的模型上应用低秩适配技术，仅微调少量附加的低秩矩阵，从而保持微调的高效性。低秩适配：在量化后的模型基础上进行低秩适配，通过引入低秩矩阵来进行微调，从而节省参数数量和计算开销。
大模型微调技术LoRA与QLoRA
Gefangenes的博客
06-30 8873
QLORA 可以使用 4 位基础模型和低秩适配器 (LoRA) 复制 16 位完全微调性能。QLORA将微调65B参数模型的平均内存需求从>780GB的GPU内存降低到
LoRA与QLoRA：解锁高效大语言模型微调的秘密
2401_85390073的博客
08-31 1765
对于微调模型来说，常见的做法是根据损失函数，对预训练好的模型进行更新。目的是希望能够通过少量的例子，让已经具备"一定基础知识"的模型能够快速学习新的任务。例如我们已经使用大量的中文文本和英文文本训练了一个 GPT 模型，因此可以认为模型对于两种语言都有了一定的了解。那么在此基础上，可以使用少量的高质量中英双语平行语料对模型进行再次训练，就可以获得一个表现优异的翻译模型。只考虑第二点的话，一种解决方法是使用两个或多个任务的一起对模型进行微调。
LoRA VS QLoRA
charles666666的博客
04-06 809
一、技术原理：如何让大模型“瘦身”？二、作用区别：谁更适合你的需求？2.QLoRA（量化低秩适应）三、应用场景：什么时候用哪种？2.优先选择QLoRA的场景。1.优先选择LoRA的场景。1.LoRA（低秩适应）四、总结：如何选择？
大模型微调(LoRA、QLoRA详解)
qq_74156239的博客
09-30 1251
大模型微调技术概览 大模型微调(Fine-tuning)是在预训练语言模型基础上，使用特定领域数据进行二次训练的技术。它能提升模型在特定任务上的表现、获取新知识、减少幻觉输出、提高一致性，并降低计算成本。微调方法包括监督微调(SFT)和参数高效微调(PEFT)，后者如LoRA技术通过低秩矩阵调整实现高效适配。LoRA在冻结原始模型参数的同时，仅训练小型外挂矩阵，既保持模型性能又显著降低计算负担。这种技术使企业能以较低成本将通用大模型定制为专业领域解决方案，同时保障数据隐私和安全。
Gemma 2微调：LoRA与QLoRA技术解析
XianxinMao的博客
02-24 987
Gemma 2是Google发布的大型语言模型，包含9B和27B参数版本，在语言生成任务中表现优异。通过LoRA和QLoRA技术，Gemma 2可以在消费级硬件上高效微调，尤其在特定领域性能显著提升。LoRA通过低秩分解减少参数，适合内存充足场景，训练速度较快；QLoRA引入量化技术，内存占用更低，适合资源有限环境。微调工具如Hugging Face库和Unsloth提供了不同选择，Unsloth在内存效率和速度上表现突出，但安装调试较复杂。总体而言，Gemma 2结合LoRA和QLoRA技术，为在有限硬件
大模型微调实战：LoRA 与 QLoRA 核心原理及应用技巧详解
m0_48891301的博客
07-26 788
大模型微调实战：LoRA 与 QLoRA 核心原理及应用技巧详解
大模型微调技术：LoRA与QLoRA的比较与选择
ASS-ASH的博客
10-12 6016
总的来说，大模型微调技术LoRA和QLoRA都是为了解决大规模模型微调成本高昂的问题而提出的。而QLoRA技术则通过使用高精度权重和可学习低秩适配器，既降低了微调成本，又提高了模型的准确性。它可以将650亿参数的LLaMA模型的微调成本从超过780GB的GPU内存降低到小于48GB，同时保持了很高的准确性。这使得QLoRA微调技术成为了一种非常有前途的方法，可以广泛应用于各种大规模模型微调的场景。然而，这些模型的训练和微调成本高昂，尤其是对于缺乏足够计算资源和存储容量的终端用户来说。
突破显存限制：TRL中LoRA与QLoRA参数高效微调实践指南
gitblog_01141的博客
10-02 644
你是否曾因GPU显存不足而放弃微调大模型？还在为动辄数十GB的模型训练成本发愁？本文将带你掌握TRL（Train transformer language models with reinforcement learning）框架中两种革命性的参数高效微调技术——LoRA（Low-Rank Adaptation，低秩适应）和QLoRA（Quantized LoRA，量化低秩适应），让你在消费级GP...
人工智能基于LoRA与QLoRA的大语言模型高效微调：垂直领域低资源场景下的性能优化方法研究
12-01
通过理论分析、实验设计与实证验证，探讨了LoRA的低秩适应机制与QLoRA的4-bit量化技术在降低显存消耗和训练成本方面的优势，并在特定垂直领域（如医疗、法律或金融）任务中验证其性能表现。研究涵盖了模型选择、数据...
【自然语言处理】基于LoRA与QLoRA的大模型参数高效微调技术：面向低资源场景的轻量化适配方法研究
09-29
内容概要：本文系统梳理了大模型参数高效微调（PEFT）技术的发展脉络与核心技术，重点解析了LoRA和QLoRA的原理与实现。文章首先指出全量微调面临计算成本高、存储负担重和灾难性遗忘等问题，进而引出PEFT范式——...
精选资源
DeepSeek对比LoRA与QLoRA微调方案，实测金融、医疗领域适配效果.pdf
02-13
该文档【DeepSeek对比LoRA与QLoRA微调方案，实测金融、医疗领域适配效果】共计 22 页，文档内容完整、条理清晰。文档内所有文字、图表、目录等元素均显示正常，无任何异常情况，敬请您放心查阅与使用。
基于知识图谱+深度学习的大数据NLP医疗知识问答可视化系统（全网最详细讲解及源码/建议收藏）
最新发布
未来社会二十年发展的核心技术趋势由ABCD四个字母组成，分别是AI（人工智能）、BlockChain（区块链）、Cloud（云）、和Data（大数据）每一次进步都有新的认知和感触
12-15 632
本文详细介绍了一个基于知识图谱与深度学习的医疗问答系统。系统采用Neo4j存储医疗知识图谱，使用Aho-Corasick算法进行高效多模式匹配，并整合了BERT+LSTM+CRF深度学习模型。实现流程包括数据爬取、清洗、实体识别、知识图谱建模等步骤，最终构建了一个具有可视化界面的Flask应用。系统支持自然语言问答，能自动存储交互记录到SQL数据库。文章还详细说明了所需的软件环境配置（JDK1.8、Neo4j4.4.5等）和项目目录结构，为开发者提供了完整的实现方案和技术细节。
DefaultCPUAllocator: can‘t allocate memory
weixin_45776000的博客
12-11 414
【代码】DefaultCPUAllocator: can‘t allocate memory。
深度学习中 z-score 标准化理解
musk1212的博客
12-11 1115
摘要： z-score标准化是深度学习中关键的数据预处理方法，通过将数据转换为均值为0、标准差为1的分布，有效提升模型训练效率并消除特征量纲差异。其核心公式为z=(x-μ)/σ，适用于加速收敛、平衡多特征权重及异常值检测等场景。与Min-Max归一化相比，z-score对异常值更鲁棒，是神经网络训练的首选方法。需注意避免数据泄露问题（测试集必须使用训练集的μ和σ），并处理标准差为0的特殊情况。批量归一化(BatchNorm)是z-score的动态扩展版本。
机器学习与深度学习基础（五）：深度神经网络经典架构简介
TracyCoder的博客
12-11 801
本文学习要点：1.深度神经网络分层架构：全连接层卷积层池化层2.深度神经网络代表:CNN：CNN、AlexNet、VGG-Net、GoogLeNet（Inception）、ResNet（残差连接）编码器-解码器架构：序列到序列模型（Seq2Seq）
RNN（循环神经网络）原理
weixin_45776000的博客
12-12 472
RNN的突破：引入"记忆"概念，让网络可以记住之前的信息来处理当前输入。无法建模时间依赖：比如语言中"我今天吃了__"的预测需要前面信息。无记忆性：每个输入独立处理，忽略序列中元素的时间/顺序关系。关键：所有时间步共享相同的权重参数 W, U, V。主要问题：梯度消失/爆炸，通过LSTM/GRU缓解。W: 隐藏状态权重 (h_t-1 → h_t)应用场景：NLP、时间序列、语音识别等序列任务。输入：序列 → 编码 → 解码 → 输出序列。U: 输入权重 (x_t → h_t)
基于深度学习的网络流量异常检测系统
XiaoMu_001的博客
12-11 979
本项目旨在构建一个基于深度学习的高效网络流量异常检测系统。系统采用 **B/S 架构**，前后端分离设计。后端基于 **Django** 框架，前端采用 **Vue 3** + **Element Plus**。核心检测引擎利用 **PyTorch** 构建深度学习模型（MLP 和 1D-CNN），能够对网络流量数据进行实时或离线分析，精准识别良性流量及多种类型的网络攻击（如 DoS, PortScan, Web Attack 等）
lora与qlora
06-18
### Lora与Qlora的区别及应用场景 Lora（Low-Rank Adaptation）和 Qlora 是近年来在机器学习领域中用于模型微调的两种重要技术。以下从定义、原理、优缺点以及应用场景等方面对两者进行详细对比。 #### 1. 定义与原理 Lora 是一种低秩分解方法，通过引入低秩矩阵来更新预训练模型中的权重，从而减少参数量并提高微调效率[^1]。具体来说，Lora 在模型的全连接层或注意力层中插入两个小规模矩阵 \(A\) 和 \(B\)，使得原始权重矩阵 \(W\) 被近似为 \(W + AB\) 的形式。这种方法可以显著降低计算成本和内存占用。 Qlora 则是在 Lora 的基础上进一步优化，结合了量化技术（Quantization），以实现更高的压缩率和更快的推理速度[^2]。Qlora 不仅使用低秩分解，还对模型权重进行量化处理，通常将浮点数转换为低位整数（如 INT4 或 INT8）。这种组合方式使得 Qlora 特别适合在资源受限的环境中部署大语言模型。 #### 2. 优缺点分析 - **Lora 的优点** - 参数高效：通过低秩分解，仅需调整少量参数即可完成微调。 - 易于实现：Lora 的设计相对简单，便于集成到现有框架中。 - 通用性强：适用于多种类型的神经网络，包括但不限于 Transformer 模型。 - **Lora 的缺点** - 训练精度可能受到限制：由于低秩近似的局限性，在某些复杂任务上表现可能不如全量微调。 - 需要额外的超参数调优：例如秩大小的选择会影响最终性能。 - **Qlora 的优点** - 更高的压缩率：结合量化技术后，模型体积大幅减小，适合移动端或边缘设备部署。 - 推理速度快：量化后的模型通常具有更低的延迟和更高的吞吐量。 - **Qlora 的缺点** - 可能引入量化误差：如果量化粒度过粗，可能导致模型性能下降。 - 实现复杂度较高：需要同时考虑低秩分解和量化两方面的因素。 #### 3. 应用场景 - **Lora 的典型应用** - 小样本学习：当数据量有限时，Lora 可以有效避免过拟合问题。 - 大规模模型微调：对于包含数十亿参数的大模型，Lora 提供了一种高效的微调方案。 - **Qlora 的典型应用** - 移动端应用：在智能手机或其他嵌入式设备上运行复杂的 AI 模型。 - 边缘计算：在物联网设备中实现实时推理功能。 - 高性能推理：需要快速响应时间的应用场景，例如自动驾驶系统中的目标检测。 ```python # 示例代码：如何在 PyTorch 中实现 Lora 微调 import torch from transformers import AutoModelForCausalLM, LoraConfig model = AutoModelForCausalLM.from_pretrained("bigscience/bloom") lora_config = LoraConfig( r=16, # 秩大小 lora_alpha=32, lora_dropout=0.05, target_modules=["q_proj", "v_proj"] # 需要插入 Lora 的模块 ) model = model.get_peft_model(lora_config) # 示例代码：如何在 PyTorch 中实现 Qlora 微调 from bitsandbytes.nn import Int8Params for param in model.parameters(): if param.ndim == 2: param.data = Int8Params(param.data).to(param.device) # 量化处理 ``` #### 总结 Lora 和 Qlora 各有其独特的优势和适用范围。如果追求更高的参数效率和更广泛的兼容性，可以选择 Lora；而若希望在资源受限环境下部署高性能模型，则 Qlora 是更好的选择。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值