transformers QLoRA 基础知识

最新推荐文章于 2025-07-15 16:25:55 发布
原创 最新推荐文章于 2025-07-15 16:25:55 发布 · 1.5k 阅读 · 16 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #机器人 #自然语言处理 #深度学习 #机器学习

基础知识

QLoRA，这是一种高效的微调方法，可减少内存使用量，使得在单个 48GB GPU 上就可以微调 65B 的模型，而且所得模型的性能与全 16 比特微调相当。QLoRA 通过冻结 4 比特量化的预训练语言模型将梯度反向传播到低秩适配器 (LoRA) 中。我们最好的模型 (我们将其命名为 Guanaco) 仅需在单个 GPU 上进行 24 小时微调，就能在 Vicuna 基准测试中优于所有之前公开发布的模型，且达到了 ChatGPT 性能水平的 99.3%。

是什么能让QLoRA如此厉害了？

  • 1， 4 位 NormalFloat (NF4)，一种新的数据类型，在信息论意义上是正态分布权重的最佳表示
  • 2， 双层量化，通过对量化系数进行二次量化来减少平均内存占用
  • 3， 用于降低峰值内存占用的分页优化器。
    就是上面三块新技术，保证我们使用QLoRA用较低成本训练我们特定的任务。

量化
量化是把一个输入从拥有更多信息的表示离散化为拥有更少信息表示的过程。这意味着常常把一个数据类型从更多位转换为更少位，例如：从32位浮点数转换为8位整数。
有一种不太准确的说法，量化后的整数都有一个对应浮点数，比如：
在这里插入图片描述
这也叫线性量化

正态分布
正态分布描述了一类数据的分布规律，在均值附近的数据集中度最高，随着数据远离均值，出现的概率逐渐减小，并且这种分布在统计图上呈现对称的钟形曲线。
如图：
在这里插入图片描述
在均值0处数据集中，随着数据远离均值，出现的概率逐渐减

最低0.47元/天 解锁文章
《Python基础教程》内容总览篇（持续更新中）
weixin_43178406的博客
08-26 31万+
大家好，我是爱编程的喵喵。双985硕士毕业，现担任全栈工程师一职，热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为优快云博客专家、人工智能领域优质创作者。喜欢通过博客创作的方式对所学的知识进行总结与归纳，不仅形成深入且独到的理解，而且能够帮助新手快速入门。个人精心开设的《Python基础课程》专栏订阅量接近900，帮助不少同学解决了Bug。
qlora原理
XD的博客
09-29 1248
我们提出了QLORA，这是一种高效的微调方法，它减少了足够的内存使用，可以在单个48GB GPU上微调一个650亿参数的模型，同时保留了完整的16位微调任务性能。QLORA通过一个冻结的、4位量化的预训练语言模型向后传播梯度到低秩适配器（LoRA）。我们最好的模型系列，我们称之为Guanaco，在Vicuna基准测试中超过了所有以前公开发布的模型，达到了ChatGPT 99.3%的性能水平，而仅在单个GPU上微调了24小时。QLORA引入了一系列创新，以节省内存而不牺牲性能：(a)
十分钟读完「降低 LLaMA 模型微调内存占用的QLoRA」论文
夕小瑶科技说
01-17 1558
QLORA方法的核心在于其能够在不牺牲16位微调任务性能的前提下，通过4位量化预训练语言模型，显著降低微调65B参数模型所需的内存使用量。
大模型微调技术 --＞ LoRA 系列之 QLoRA (省资源能手)
weixin_46034279的博客
11-07 2263
通过提出的两种技术实现了高保真度的4位微调——
LLMs之Guanaco：《QLoRA：Efficient Finetuning of Quantized LLMs》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
06-30 4762
​ LLMs之Guanaco：《QLoRA：Efficient Finetuning of Quantized LLMs》翻译与解读 目录 《QLoRA：Efficient Finetuning of Quantized LLMs》翻译与解读 Abstract 1、Introduction引言 2、背景Background 3、QLORA微调QLORA Finetuning 4、QLoRA与标准微调的比较QLoRA vs. Standard Finetun
Quantify LLM
m0_73202283的博客
10-06 1288
大模型如果用bfloat16需要特别大的显存，所以都在用INT4、INT8做量化，效果不错。
QLoRA论文概述
qq128252的博客
12-08 1732
微调需要大量显存资源。之前工作的量化大都是在推理而非训练。实验中发现数据的质量比数量重要。评估采用人类和GPT-4相结合。提出了三个技术方案实现单个GPU微调65B模型，达到和16位微调任务相同的性能4-bit NormalFloat（NF4）量化：QLORA使用一种新的数据类型NF4，它在信息理论上最适合正态分布的权重，并在实践中优于4-bit整数和4-bit浮点数。双量化：QLORA采用双量化方法，对量化常数进行第二次量化，从而减少每个参数的内存占用。分页优化器。
【机器学习】QLoRA：基于PEFT亲手量化微调Qwen2大模型
人工智能领域博客
06-13 9167
本文首先对量化和微调的原理进行剖析，接着以Qwen2-7B为例，基于QLoRA、PEFT一步一步带着大家微调自己的大模型，本文参考全网peft+qlora微调教程，一步一排坑，让大家在网络环境不允许的情况下，也能丝滑的开启大模型微调之旅。
轻松上手微调大语言模型——QLORA篇
qq_36553572的博客
07-24 2102
本篇Blog是代码实战篇，着重于新手如何在上快速跑通代码，打造属于自己的AI大语言模型。涉及到相关技术的具体原理我会在以后的更新中一一讲解。
QLora基础与进阶指南
frostmelody 全网同名，大家多多关注呀~ 持续分享优质内容！
06-03 925
模块化设计QLoRALayer类完美地封装了QLoRA的复杂性。它清晰地展示了在初始化时如何量化和冻结基础权重，并注入可训练的LoRA适配器。前向传播的清晰路径forward方法直观地分成了两条路径：一条是处理即时反量化的基础模型输出，另一条是计算LoRA适配器的增量输出。最后将两者相加，这正是QLoRA的核心计算图。梯度与优化的关键：在设置优化器时，我们通过列表推导式巧妙地只选择了需要训练的参数（即lora_A和lora_B。
深入QLora大模型微调：原理与实践
TheJustice_的博客
07-16 2220
由于QLora是一个虚构的模型，我将提供一个基于真实存在的预训练模型BERT的微调示例，使用Python和Hugging Face的Transformers库。QLora模型的微调是一个涉及多个步骤的复杂过程，但通过合理的策略和细致的调整，可以显著提升模型在特定任务上的表现。它通过减少自注意力层中的Query数量，降低了模型的参数量和计算成本，同时通过特殊的权重分配策略，保持了对关键信息的捕捉能力。根据任务的特点选择合适的损失函数，如交叉熵损失、序列损失等，以指导模型在微调过程中的学习方向。
大模型基础知识-LoRA与QLoRA
与神共舞
07-15 2515
QLoRA (Quantized Low-Rank Adaptation) 是一种结合了模型量化和低秩适配的技术，旨在减少大规模预训练模型微调和部署的计算和存储成本。参数高效：通过这种方式，只需微调少量参数（即低秩矩阵的参数），而非整个模型的参数，从而大大降低了存储和计算成本。低秩适配 (LoRA)：在量化后的模型上应用低秩适配技术，仅微调少量附加的低秩矩阵，从而保持微调的高效性。低秩适配：在量化后的模型基础上进行低秩适配，通过引入低秩矩阵来进行微调，从而节省参数数量和计算开销。
【科普】大模型中的精度家族：FP32 到 NF4，一文读懂 8 种精度的关联与区别
最新发布
2301_76168381的博客
07-15 1403
【科普】大模型中的精度家族：FP32 到 NF4，一文读懂 8 种精度的关联与区别
QLoRA (Quantized Low-Rank Adaptation)浅析
qq_43644023的博客
06-19 1204
QLoRA：高效大模型微调方法 QLoRA（Quantized Low-Rank Adaptation）是一种创新的模型微调技术，在保持LoRA参数效率的基础上，通过三项关键技术显著降低显存需求：1）采用4-bit NormalFloat量化预训练模型权重；2）对量化参数进行二次量化（Double Quantization）进一步节省内存；3）引入分页优化器管理优化器状态。这种方法能在单张消费级GPU（如24GB显存的RTX 3090）上微调650亿参数的大模型，同时保持接近全参数微调的性能。QLoRA通过
服务器仅靠4颗CPU运行千亿大模型的“算法秘籍”
AI科技大本营
08-06 1892
日前，浪潮信息研发工程师基于2U4路旗舰通用服务器NF8260G7，通过张量并行、模型压缩量化等技术，解决了通用服务器的CPU计算资源不足、内存带宽瓶颈、缺乏大规模并行计算环境等问题，在业内首次实现服务器仅依靠4颗CPU即可运行千亿参数“源2.0”大模型。
大模型微调5种方法你想知道的都在这里了
xiangxueerfei的博客
07-11 1649
1、LoRALoRA (Low-Rank Adaptation)是一种旨在微调大型预训练语言模型(如GPT-3或BERT)的技术。其核心理念在于，在模型的决定性层次中引入小型、低秩的矩阵来实现模型行为的微调，而无需对整个模型结构进行大幅度修改。这种方法的优势在于，在不显著增加额外计算负担的前提下，能够有效地微调模型，同时保留模型原有的性能水准。
QLORA：高效微调量化大型语言模型
人工智能讲师分享前沿技术
09-09 2208
人工智能咨询培训老师叶梓 转载标明出处传统的16位精度微调需要超过780GB的GPU内存，对于参数量极大的模型，如65B（即650亿参数）的模型，在资源有限的情况下大模型的微调几乎是不可能的。华盛顿大学的研究者团队提出了一种名为QLORA的高效微调方法。它通过量化技术和低秩适配器（LoRA）显著降低了微调过程中的内存需求，使得在单个消费级 GPU 上微调高达65B参数的模型成为可能。QLORA 不仅减少了资源消耗，还保持了与全精度16位微调相当的性能，为大型模型的微调和部署开辟了新的可能性。
自然语言处理: 第十八章微调技术之QLoRA
victor_manches的博客
03-25 3297
QLoRA是来自华盛顿大学的Tim Dettmers大神提出的模型量化算法，应用于LLM训练，降低显存需求，其足以在单个48GB显存的GPU上对LLAMA 65B进行微调，同时能保持16位全量微调的效果。1. 新定义了一种4位标准浮点数NF4(Normal Float4）的最优数据类型2. 双重量化，对普通参数和量化常数分别量化，进一步减少缓存占用3. 分页优化器(page optimizer)，在显存过高时以部分内存替代显存。
QLoRA：量化 LLM 的高效微调
AI生成式技术曾小健
06-06 2752
我们提出了一种高效的微调方法QLORA，可以在单个48GB GPU上减少内存使用量，同时保持完整的16位微调任务性能，从而对一个拥有65B参数的模型进行微调。QLORA通过将梯度反向传播到冻结的4位量化预训练语言模型中，进而传递到低秩适配器（LoRA）。我们的最佳模型系列被命名为Guanaco，在Vicuna基准测试中表现优于所有先前公开发布的模型，达到ChatGPT性能水平的99.3%，仅需要单个GPU上的24小时微调时间。
peft qlora
03-14
<think>好的，我现在需要回答用户关于PEFT和QLoRA的实现方法或比较的问题。首先，我需要回忆一下PEFT和QLoRA的基本概念以及它们在机器学习中的应用。PEFT代表参数高效微调，是一种在微调预训练模型时只调整少量参数的技术，从而节省计算资源和内存。常见的PEFT方法包括LoRA（低秩适应）、Adapter Tuning和Prefix Tuning。 接下来是QLoRA，这是LoRA的量化版本，结合了量化技术和LoRA，进一步减少显存占用，使得在资源有限的设备上训练大型模型成为可能。用户提到实现方法，我需要详细说明如何使用这些技术，比如使用Hugging Face的Transformers库和PEFT库来实现QLoRA。 然后需要考虑用户提供的引用内容。引用[1]提到使用LoRA高效精调和3M指令数据，这可能涉及到如何配置LoRA的参数，比如秩的大小和alpha值。引用[2]指出在训练时使用QLoRA时需要添加--device cpu避免OOM，这说明在实现时需要注意显存管理，可能需要使用CPU卸载技术。引用[3]和[4]涉及模型评估，但可能和当前问题关联不大，但可以提及QLoRA在微调后的模型效果依然优秀，比如在LLaMA2上的表现。 在比较部分，需要对比PEFT的不同方法，比如LoRA、QLoRA、Adapter Tuning等在参数效率、显存占用、训练速度等方面的差异。例如，QLoRA由于量化，显存占用更小，但可能会增加一些计算开销。 最后，生成相关问题时要围绕PEFT和QLoRA的应用场景、优化方法、与其他技术的对比等方面展开，确保问题具有针对性和延伸性。 现在需要确保回答结构清晰，分点说明实现步骤和比较，并正确引用用户提供的资料。同时，所有数学公式要按照要求使用$...$或$$...$$格式，例如LoRA中的低秩分解可以表示为矩阵乘积$W + \Delta W = W + BA$，其中B和A是低秩矩阵。</think>### PEFT与QLoRA的实现方法及比较 #### 1. **PEFT（参数高效微调）的核心思想** PEFT通过仅微调预训练模型中的少量参数（通常小于1%），在保留原模型知识的同时适应下游任务。例如，LoRA（Low-Rank Adaptation）将参数更新量分解为低秩矩阵乘积： $$W_{\text{new}} = W + \Delta W = W + B \cdot A$$ 其中，$B \in \mathbb{R}^{d \times r}$和$A \in \mathbb{R}^{r \times k}$为低秩矩阵（$r \ll d,k$），显著减少训练参数量[^1]。 #### 2. **QLoRA的实现步骤** QLoRA在LoRA基础上引入**4-bit量化**和**分页优化器**，具体实现流程如下： 1. **量化权重**：将预训练模型权重量化为4-bit精度，减少显存占用。 2. **插入LoRA适配器**：在Transformer层的注意力模块中注入可训练的LoRA低秩矩阵。 3. **分页训练**：使用`bitsandbytes`库的分页优化器，防止显存溢出（需添加`--device cpu`参数辅助卸载[^2]）。 4. **反向传播与解量化**：训练时动态解量化权重计算梯度，更新低秩矩阵参数。 示例代码框架（基于Hugging Face库）： ```python from transformers import AutoModelForCausalLM from peft import LoraConfig, get_peft_model import bitsandbytes as bnb model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-2-7b", quantization_config=bnb.nn.BitsAndBytesConfig(load_in_4bit=True)) lora_config = LoraConfig(r=8, lora_alpha=16, target_modules=["q_proj", "v_proj"]) model = get_peft_model(model, lora_config) # 仅0.1%参数可训练 ``` #### 3. **关键对比：PEFT方法差异** | 方法 | 参数量占比 | 显存占用 | 训练速度 | 适用场景 | |-------------|------------|----------|----------|------------------------| | Full Fine-tuning | 100% | 极高 | 慢 | 数据充足，硬件强 | | LoRA | 0.1%~1% | 中等 | 快 | 通用任务高效微调[^1] | | QLoRA | 0.1%~1% | **低** | 较快 | 显存受限（如单卡训练）[^2] | | Adapter | 3%~5% | 中等 | 中等 | 多任务连续学习 | #### 4. **效果评估与优化建议** - **性能表现**：QLoRA微调的LLaMA2模型在长文本任务中仍优于GPT-3.5和GPT-4[^3]。 - **优化方向**： - 调整LoRA的秩（`r`）和缩放因子（`alpha`）平衡效果与效率。 - 使用更大的指令数据集（如3M样本[^1]）提升泛化性。 - 通过多裁判评估减少模型偏好偏差（如GPT-4作为裁判时的偏心问题[^4]）。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值