DELTA-LORA: FINE-TUNING HIGH-RANK PARAMETERS WITH THE DELTA OF LOW-RANK MATRICES

最新推荐文章于 2025-11-24 18:29:32 发布
最新推荐文章于 2025-11-24 18:29:32 发布
阅读量441 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/132742977
LLM 日更 专栏收录该内容
828 篇文章

已下架不支持订阅

本文提出Delta-LoRA，一种改进的微调大型语言模型（LLM）的方法。它通过更新低秩矩阵的差（A(t+1)B(t+1)−A(t)B(t)）来传播学习，解决低秩矩阵增量更新的局限。Delta-LoRA在保持与LoRA相似的内存和计算成本的同时，表现出显著的性能提升。

本文是LLM系列文章，针对《DELTA-LORA: FINE-TUNING HIGH-RANK PARAMETERS WITH THE DELTA OF LOW-RANK MATRICES》的翻译。

DELTA-LORA：用低秩矩阵的DELTA微调高秩参数

摘要

在本文中，我们提出了Delta-LoRA，这是一种新的参数有效的方法来微调大型语言模型（LLM）。与LoRA和其他低秩自适应方法（如AdaLoRA）相比，Delta-LoRA不仅更新低秩矩阵A和B，而且通过利用两个低秩矩阵 ( A ( t + 1 ) B ( t + 1 ) − A ( t ) B ( t ) ) (A^{(t+1)}B^{(t+1)}-A^{(t)}B^{(t)}) (A

了解本专栏 已下架不支持订阅
UnknownBody
关注
专栏目录

已下架不支持订阅

【模型精调LoRA】LoRA 低秩适应微调的工作原理和代码实现示例 What is LoRA? Low-Rank Adaptation for finetuning LLMs EXPLAINED
AI天才研究院
03-11 1812
LoRA 是一种有效的大模型微调技术，可以提高推理效率并保持良好的性能。LoRA 在许多下游任务中都取得了良好的效果，包括文本分类、机器翻译和问答。
【ChatGPT模型精调训练】AI 大模型精调 Fine-Tuning （微调）训练图文代码实战详解
AI天才研究院
03-09 2382
选择预训练模型：选择一个在类似任务上已经训练好的模型作为起点。数据准备：准备并预处理你的数据集，使其适合模型的输入格式。微调：在你的特定数据集上继续训练模型，调整模型的权重。评估：评估微调后模型的性能。应用：将微调后的模型部署到实际应用中。Fine-Tuning（精调）是指在预训练模型的基础上，对模型进行微调，使其适应特定任务。预训练模型通常在大量无标签数据上进行训练，以学习通用的语言表示。通过 Fine-Tuning，我们可以在较小的标签数据集上训练模型，以便模型能够更好地解决特定任务。
一文了解21年起2025的10种LoRA相关算法（LoRA、Delta-LoRA、VeRA、LoRA-drop、LoRA+、EDoRA）
a486259的博客
06-16 1451
在原有的参数旁，新增一个低秩分解的通路A、B，其中秩为r（r远小于n1、n2）。矩阵A进行高斯分布初始化，矩阵B进行全0初始化。额外有一个参数a，用于控制初始化参数的缩放。∆WxBA∆W_x=BA∆Wx​BA按α/r进行缩放，其中α是关于r的常数。在使用Adam优化器时，如果我们对初始化进行了适当缩放，调整α大致等同于调整学习率。该方法在每层LoRA结构中冻结降维投影权重A，仅更新升维投影权重B。这一设计确保模型权重变化始终处于低秩空间，同时消除了存储全秩输入激活值的必要性。
一文读遍 LoRA 家族：大语言模型高效训练的“秘密武器“
Python_cocola的博客
04-19 1199
LoRA 及其一系列变体从不同维度对大语言模型的训练进行了优化。LoRA 通过添加低秩矩阵 A 和 B 开启了高效训练的大门；LoRA + 优化学习率提升训练效率；VeRA 和 LoRA - FA 减少参数数量；LoRA - drop 智能筛选训练层；AdaLoRA 动态调整矩阵秩；DoRA 分解权重使训练更接近微调；Delta - LoRA 更新预训练权重突破性能瓶颈。
5种微调大语言模型（LLMs）的技术，一图看懂！
youmaob的博客
03-13 693
随着这些创新技术的出现，微调大语言模型变得更加高效和可行。LoRA、LoRA-FA、VeRA、Delta-LoRA和LoRA+各自提供了独特的优势，适用于不同的应用场景和资源限制。通过这些方法，研究人员和工程师可以更灵活地调整和优化他们的模型，从而在各种任务中实现更好的性能。
LoRA系列概览
XianxinMao的博客
03-12 969
LoRA（Low-Rank Adaptation，低秩适应）技术是现代训练大型语言模型（LLMs）的重要突破之一，能够高效地针对特定任务训练模型。本文旨在介绍LoRA的几种变体，包括LoRA+、VeRA、LoRA-FA、LoRA-drop、AdaLoRA、DoRA和Delta-LoRA，这些变体以不同方式提升LoRA的能力，旨在提高性能或加快训练速度。
LoRA及其变体概述：LoRA, DoRA, AdaLoRA, Delta-LoRA
热门推荐
deephub
03-15 1万+
LoRA及其相关方法的研究领域是一个非常活跃的研究领域，每天都有新的贡献。本文解释一些方法的核心思想。如果你对这些方法感兴趣请查看论文：作者：Dorian Drost。
速通LoRA：《LoRA: Low-Rank Adaptation of Large Language Models》全文解读
逐梦苍穹的博客
11-11 1496
速通LoRA：《LoRA: Low-Rank Adaptation of Large Language Models》全文解读
HydraLoRA: An Asymmetric LoRA Architecture for Efficient Fine-Tuning 翻译
Doc2X的博客
11-22 1428
https://arxiv.org/pdf/2404.19245 HydraLoRA: An Asymmetric LoRA Architecture for Efficient Fine-Tuning 翻译 HydraLoRA: 一种用于高效微调的不对称LoRA架构
大模型高效微调-LoRA原理详解和训练过程深入分析
weixin_53880910的博客
06-12 1341
LoRA与训练目标是解耦的，但本文设定就是语言模型建模。以下将给出语言建模（可自然推广到序列建模）的基本符号定义，即最大化给定提示的条件概率（本质是极大似然估计）。给定一个参数为\(\mathbf{\Phi}\)预训练的自回归语言模型$ P_{\Phi}(y|x)$。\(x\)为输入，\(y\)为输出note: 为与原文符号一致，下文\(\mathbf{\Phi}\)、\(\mathbf{\Theta}\)、\(\mathbf{W}\)均表示模型参数全参数微调。
【LLM微调系列】超全Lora综述：掌握7大秘籍，轻松精通模型优化！
2401_85390073的博客
01-14 1122
LoRA是一种通过在模型的密集层中插入低秩矩阵来更新模型参数的技术。低秩矩阵（LoRA插件）可以独立于模型存储和重用，从而实现跨任务泛化。而且LoRA的参数数量显著少于全参数微调，这使得其在内存和计算需求方面具有显著优势。
基于学习的人工智能（1）为什么学习？
致力于大数据+AI 的应用创新。
11-24 214
学习是人类最重要的认知活动之一，贯穿我们的一生。出生后，我们无时无刻不在学习：从父母那里学说话，自己尝试走路，从小伙伴那里学会折纸飞机，从老师那里学到语文、数学等各种知识。研究人员始终将光源和风扇放在同一侧，经由学习，玉米幼苗逐渐学会了“有风的地方就会有光”的规律。之后，研究人员移去光源，并改变风扇方向，玉米幼苗依然按照所学知识，向风扇方向生长。1959 年，美国计算机学家亚瑟·塞缪尔设计了一款可以自我学习的跳棋程序，并将这一新方法称为“机器学习”，从而开启了机器自我学习的道路。
中国计算机学会（CCF）推荐学术会议-A（人工智能）：ACL 2026
iaast的博客
11-24 337
大会官网：https://2026.aclweb.org/录用率：20.3%（1699/8360，2025年）时间地点：2026年7月2日-加州·美国。截稿时间：2026年1月5日。CCF推荐：A（人工智能）
2025企业微信AI落地新趋势：微盛AI·企微管家破解内外增长难题
最新发布
weisheng00的博客
11-24 567
2025年企业微信AI落地的三大关键趋势：微盛AI·企微管家通过智能客服、精准营销和内部协作三大场景，帮助企业实现200%的客服效率提升、90%的报修响应提速和50%的员工效能增长。作为企业微信生态最大ISV服务商，微盛依托"AI+SCRM"双引擎，已服务160家500强企业，提供合规AI聊天Agent、生态闭环整合及私有化部署方案，有效解决数据孤岛问题，90%客户在3个月内实现AI能力全员覆盖。
RAG 的诞生：为了让 AI 不再“乱编”
weixin_44876263的博客
11-24 219
RAG全称，中文为“检索增强生成”。其核心思想是：在生成答案时，不仅依赖大模型内部的训练知识，还能够实时访问外部知识库或文档，从而生成更加准确和可靠的内容。就像一个学生回答问题，不仅依靠自己记忆，还会去图书馆查资料，然后结合记忆和查到的资料回答问题。你问模型：“请告诉我最新的新能源补贴政策。纯模型可能只靠训练记忆，回答的是过时或模糊的信息。RAG 模型会先去查最新政策文件，再结合训练知识生成答案，因此更准确。检索资料：先找到相关文档或信息。结合生成：把找到的资料和问题一起输入模型，让模型生成答案。
基于华为开发者空间实现花卉识别
优快云高校俱乐部官方博客
11-21 1798
基于华为开发者空间实现花卉识别
人工智能在医疗行业的革命性应用：从诊断到个性化治疗
2501_94114442的博客
11-21 486
人工智能（AI）技术近年来已经渗透到各个行业，其中，医疗行业无疑是受益最大之一。从疾病的早期诊断到个性化治疗方案的制定，AI正在加速医学领域的变革。通过机器学习、深度学习、自然语言处理等技术，AI不仅能够处理和分析大量的医疗数据，还能够帮助医生做出更加精准的决策，提升患者的治疗效果，并优化整个医疗体系的运作效率。本文将探讨人工智能在医疗行业的应用，分析其在不同医疗领域的具体作用，并展望AI如何进一步推动医疗健康行业的发展。
【NullSwap】NullSwap: Proactive Identity Cloaking Against Deepfake
人生不是轨道，是旷野。希望每天都有好心情。
11-23 236
由于生成模型的进步，被动检测高质量Deepfake图像的性能瓶颈，主动扰动提供了一种有前途的方法，通过将信号插入良性图像来禁用Deepfake操作。【生成模型的发展，使得生成高质量伪图越来越难被检测】然而，现有的主动扰动方法在以下几个方面仍然不能令人满意：【当前主动扰动存在的问题】1）由于直接元素添加而导致的视觉退化;2）对交换操纵的有效性有限;3）不可避免地依赖于白盒和灰盒设置，以在训练期间涉及生成模型。我们分析了深度伪造swap技术的本质，并论证了保护源身份而非目标图像的必要性。
【字节跳动 AI 原生 IDE TRAE 】
youngerwang的博客
11-22 698
字节跳动推出的AI原生IDE TRAE是国内首款协作级AI开发工具，采用"交互层-智能层-协议层-生态层"四层架构，支持SOLO智能自主开发模式和多模态交互。核心功能包括：1）SOLO模式支持需求分析、工具调度和全流程自动化开发；2）双模式交互系统兼顾精细控制和快速原型开发；3）多模态交互支持语音、图像和代码片段输入；4）开放的智能体生态系统。TRAE深度融合大模型能力，在前后端开发中展现出高效代码生成和自动化能力，并通过MCP协议实现安全工具调用。产品迭代迅速，216天发布63个版本，
Penguino-STM32WL-LoRa-E5: 适用于Seeed Studio的开源设计
资源摘要信息:"Penguino-STM32WL-LoRa-E5是一个开源硬件项目，其设计基于Seeed Studio的LoRa-E5模块，旨在创建一个适用于Penguino Feather形态因子的突破板。该项目由OSHW（Open Source Hardware）社区支持，目的是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值