论文阅读笔记——QLORA: Efficient Finetuning of Quantized LLMs

最新推荐文章于 2025-12-01 20:46:13 发布
原创 最新推荐文章于 2025-12-01 20:46:13 发布 · 1.7k 阅读 · 16 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#论文阅读 #笔记 #人工智能 #深度学习 #语言模型

QLoRA 论文
在这里插入图片描述

4-bit 标准浮点数量化

常见的量化技术是最大绝对值量化：
X I n t 8 = r o u n d ( 127 a b s m a x ( X F P 32 ) X F P 32 ) = r o u n d ( c F P 32 , X F P 32 ) 式(1) X^{Int8}=round(\frac{127}{absmax(X^{FP32})}X^{FP32}) = round(c^{FP32},X^{FP32}) \qquad \qquad \text{式(1)} XInt8=round(absmax(XFP32)127​XFP32)=round(cFP32,XFP32)式(1)
其中 c 是量化常数，为这个张量特征的绝对值最大值。
反量化为：
d e q u a n t ( c F P 32 , X I n t 8 ) = X I n t 8 c F P 32 = X F P 32 式(2) dequant(c^{FP32},X^{Int8})=\frac{X^{Int8}}{c^{FP32}}=X^{FP32} \qquad \qquad \text{式(2)} dequant(cFP32,

最低0.47元/天 解锁文章
百篇论文博文导航AI工程之路：FT、KG、RAG与Agent技术全方位探索
丨汀、的博客
07-08 1万+
百篇论文博文导航AI工程之路：FT、KG、RAG与Agent技术全方位探索
使用 QLoRA 进行微调Llama 2 和 Mistral的初学者指南
liferecords的博客
02-20 2686
理想情况下，评估拆分的损失会告诉您何时停止训练以及哪个检查点是最好的 - 但例如，训练 Guanaco 会导致 epoch 2 之后的eval_loss增加，这表明对训练集的过度拟合，即使模型的质量有所提高。如果你的数据集在单个样本中只有简短的问答对（例如 Open Orca），那么这将绰绰有余，如果你的样本更长（例如播客脚本），理想情况下，你可以增加。通过改造 Bourdain 的自传，我们的目标是生成一个 AI，与他的叙事风格和对烹饪行业的看法相呼应，并体现他的人生哲学。这将提高模型的质量。
[论文笔记]QLoRA: Efficient Finetuning of Quantized LLMs
日积月累，天道酬勤
09-07 3257
⭐ 作者提出了QLoRA，一种高效的微调方法，它在减少内存使用的同时保持16位微调任务的完整性能。这是通过：4位NormalFloat、双重量化(对量化常数进行量化)、分页优化器(GPU内存不足的情况下，自动进行CPU和GPU之间的页面传输)来管理内存峰值实现的。微调时冻结**4位量化预训练语言模型**而向低秩适配器(LoRA)反向传播梯度。
【论文笔记】QLoRA: Efficient Finetuning of Quantized LLMs
小嗷犬的博客
01-05 1585
我们提出了QLoRA，一种高效的微调方法，能够将内存使用量降低到足以在单个48GB GPU上微调一个65B参数模型，同时保持完整的16位微调任务性能。QLORA通过冻结的、4位量化预训练语言模型将梯度反向传播到低秩适配器（LoRA）。我们最好的模型系列，命名为Guanaco，在Vicuna基准测试中优于所有之前公开发布的模型，达到ChatGPT性能的99.3%，而只需在单个GPU上微调24小时。，一种信息论上对正态分布权重最优的新数据类型；，通过量化量化常数来减少平均内存占用；来管理内存峰值。
QLORA: Efficient Finetuning of Quantized LLMs大模型论文讲解
chenmingwei000的博客
06-21 310
QLORA首次提出了量化4bit而没有任何性能的损失，作者提出了一种新的高精度技术来量化预训练模型参数到4bit，并且添加了一个小的可学习的低秩适配权重，他的参数更新通过反向传播梯度量化的权重；为LLM的每一层添加了少量的可训练参数（适配器），并冻结了所有原始参数。这样对于微调，只需要更新适配器权重，这可以显著减少内存占用。具体量化博客讲的不错。主要是为了更好地理解Qlora如何利用量化较少训练内存，学习永无止境，紧随其后；
QLoRA：量化 LLM 的高效微调
AI生成式技术曾小健
06-06 2707
我们提出了一种高效的微调方法QLORA，可以在单个48GB GPU上减少内存使用量，同时保持完整的16位微调任务性能，从而对一个拥有65B参数的模型进行微调。QLORA通过将梯度反向传播到冻结的4位量化预训练语言模型中，进而传递到低秩适配器（LoRA）。我们的最佳模型系列被命名为Guanaco，在Vicuna基准测试中表现优于所有先前公开发布的模型，达到ChatGPT性能水平的99.3%，仅需要单个GPU上的24小时微调时间。
LIMA和QLoRA论文解读
狮子座明仔知识集散场
05-28 2233
在 1000 个精心策划的样本上对一个强大的预训练语言模型（LLaMa-65B）进行微调，可以在广泛的prompt中产生显著的、有竞争力的结果。然而，这种方法也有局限性：首先，构建这样的样本所付出的脑力劳动是巨大的，而且很难扩大规模。其次，LIMA 并不像产品级模型那样鲁棒，虽然 LIMA 通常会产生良好的反应，但对抗性prompt可能会生成错误的答复。尽管如此，这项工作表明，用简单的方法来解决复杂的对齐问题是有潜力的。
Finetuning LLMs with LoRA and QLoRA: Insights from Hundreds of ExperimentsPosted on October 12, 202
weixin_42606342的博客
03-03 214
LoRA is one of the most widely used, parameter-efficient finetuning techniques for training custom LLMs. From saving memory with QLoRA to selecting the optimal LoRA settings, this article provides practical insights for those interested in applying it.
2024acl论文体悟
tianyunlinger的博客
01-09 977
模型架构与训练方法：一些论文关注于改进大语言模型的架构和训练方法，以提高其性能和效率。例如，“Quantized Side Tuning: Fast and Memory-Efficient Tuning of Quantized Large Language Models”提出了一种量化侧调优方法，通过量化模型权重和引入侧网络，实现了快速且内存高效的微调，显著降低了内存占用并加速了微调过程.模型能力与局限性：研究者们试图深入理解大语言模型的能力和局限性。
Foundations-of-LLMs数据资源：教程与学习材料
gitblog_00681的博客
09-02 963
还在为找不到系统化的大语言模型学习资料而烦恼吗？面对海量的论文和技术文档，如何高效构建完整的知识体系？Foundations-of-LLMs项目为你提供了最全面的解决方案！ 读完本文，你将获得： - ???? 系统化的大模型教材体系（6大核心章节） - ???? 精选的经典论文清单（200+关键论文） - ???? 每周前沿进展追踪（持续更新） - ???? 结构化学习路线图 - ???? 实践应用指南与代码示例 ...
计算机前沿技术-人工智能算法-大语言模型-最新论文阅读-2024-09-20
09-20 2292
计算机人工智能前沿进展，大语言模型LLM, 2024-09-20 论文速读， 计算机前沿技术，人工智能算法，大语言模型，LLM，提示词，最新论文阅读
【lora 使用 LoRA 和 QLoRA 微调 LLM 的深入指南 双语阅读】
放飞自我的coder
06-16 845
本文深入探讨了使用LoRA和QLoRA进行大型语言模型(LLM)高效微调的技术。PEFT(参数高效微调)技术通过减少可训练参数数量，显著降低了训练成本和时间，使企业能够更经济高效地部署定制化模型。文章重点比较了LoRA和QLoRA的工作原理及差异，后者通过4位量化进一步优化内存使用。此外还介绍了LongLoRA、AdaLoRA等变体技术，以及AWQ等现代量化策略。这些方法不仅节省计算资源，还支持构建多租户服务架构，为企业在保持模型性能的同时实现大规模个性化部署提供了可行方案。
【NLP笔记】大模型微调方法概述
weixin_36488653的博客
04-11 1474
大模型微调理论概述
[论文阅读] AI + 编码 | Agint：让LLM编码代理告别“混乱”，用图编译打通自然语言到可执行代码的任督二脉
张较瘦
11-29 739
LLM编码代理日益普及，但面临上下文管理、延迟、可靠性、可复现性及扩展性挑战。本文提出Agint——一款agentic图编译器、解释器与运行时，可将自然语言指令增量转换为类型化、效果感知的代码DAG。Agint引入TEXT→TYPED→SPEC→CODE的显式类型层，结合混合LLM/函数JIT运行时，支持动态图优化、可复现执行及与开发工具的互操作性。其DAG结构确保并发安全性与可组合性，支持小模型低延迟执行、大模型按需调用；还提供dagify、dagent等Unix风格工具链及GUI，赋能技术与非技术用户协
【论文阅读笔记】IDAQ：离线元强化学习中的分布内在线适应
iiiiii11的博客
11-29 377
本文介绍了一种解决离线元强化学习中转移-奖励分布偏移问题的新方法IDAQ，通过理论分析和实验验证展示了其优越性能。
DeepSeek-Math-V2论文阅读
weixin_49891405的博客
11-29 565
基座模型。这是一个已经经过“数学和代码推理数据”监督微调（SFT）的版本，具备了基础的推理能力。训练目标：将这个模型训练成一个Verifier（验证者）。输入输出输入：题目XiX_iXi​+ 待验证的证明YiY_iYi​。输出：验证分析文本Vi′V'_iVi′​（包含具体的评价理由）+ 提取出的分数si′s'_isi′​。
Contrastive pseudo learning for openworld deepfake attribution 超细致论文笔记，第一次读论文
weixin_72953218的博客
11-30 975
早期方法侧重 GAN 生成图像，忽略了 “身份替换 / 表情迁移” 这类更逼真、威胁性更强的伪造攻击；：大多基于封闭场景设计 —— 训练集与测试集的类别分布一致（训练时见过的类型，测试时才需要判断，无新类型），无法适配 “开放世界”（测试时会出现训练未见过的伪造类型）；：真实场景中标注的伪造人脸数据少，但未标注数据多，传统监督学习难以利用海量未标注数据。现有方法的局部性:现有方法主要关注样本的全局相似性，忽略了可能表明篡改的伪造人脸图像的局部一致性，解决方法 - 全局和局部特征。
论文笔记（一百零五）A review of learning-based dynamics models for robotic manipulation
最新发布
xzs1210652636的博客
12-01 651
本文综述了基于学习的动力学模型在机器人操作中的应用与发展。传统基于物理的动力学模型虽具泛化性，但依赖完整状态信息，而复杂场景中此类信息难以准确获取。学习型模型直接从观测数据中学习状态转移函数，能够捕捉复杂因素与不确定性，并加速实时仿真。研究显示，这些模型显著提升了机器人处理可变形物体、颗粒材料及多物体交互任务的能力。文章重点探讨了状态表示的选择对模型性能的影响，分析了不同模型结构的权衡，并讨论了其与状态估计和控制方法的结合。最后指出了该领域未来的研究方向与挑战。
996PC端 传奇游戏架设笔记
酷酷的鱼 - 网络编程,服务器安全专栏
11-30 224
2、有些版本有自己增加的NPC或者武器、所以就会有版本补丁，需要在JpkList.txt增加补丁所在地址和解析密码、并且把补丁文件复制到热血传奇客户端安装目录下。多个版本的时候 在MirServer采用多个不同名称的文件夹即可，游戏区端口要选择不一样的。3、然后打开登录生成器、确保版本资源目录是对的，然后资源读取规则，需要设置成你热血传奇安装目录。4、确保当前登录生成器里面的授权密钥跟GameServer的登录网关->安全过滤设置->登录器识别码密钥写的是一样的。1、服务器需要安装VC++扩展包。
parameter-Efficient Fine-Tuning for Foundation Models论文
04-01
### Parameter-Efficient Fine-Tuning (PEFT) 的背景 Parameter-Efficient Fine-Tuning 是一种针对基础模型（Foundation Models）优化的技术，旨在通过仅调整一小部分参数来实现高效的微调过程。这种方法不仅减少了...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值