VeRA: Vector-based Random Matrix Adaptation

最新推荐文章于 2025-07-29 00:01:36 发布
最新推荐文章于 2025-07-29 00:01:36 发布
阅读量453 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/133950663
LLM 日更 专栏收录该内容
828 篇文章

已下架不支持订阅

VeRA是一种针对大规模语言模型微调的优化方法，它减少了低秩适应（LoRA）的参数数量达10倍，同时保持相同性能。该方法通过共享的低阶矩阵部分估计参数，适用于需要频繁模型交换的场景，如个性化云AI服务，能有效提升服务效率并降低内存瓶颈。

本文是LLM系列文章，针对《VeRA: Vector-based Random Matrix Adaptation》的翻译。

VeRA：基于向量的随机矩阵自适应

摘要

低秩（LoRA）是一种流行的方法，它可以在微调大规模语言模型时减少线性参数的数量，但在扩展更大的模型时仍然面临着巨大的存储挑战，需要大量的用户或任务自适应的模型。在这项工作中，我们提出了基于向量的随机矩阵自适应（VeRA），它将线性参数的数目减少了LoRA的10倍，同时保持了相同的性能。它通过使用在所有层共享的低阶矩阵的一部分来实现估计，而不是使用小规模的向量。GLUEA和E2E基准点的演示效果都不重要，以及它在说明中的应用——使用Llama27B模型，只有1.4M参数。

1 引言

2 相关工作

3 方法

4 实验

5

了解本专栏 已下架不支持订阅
UnknownBody
关注
专栏目录

已下架不支持订阅

VERA : 一种比Lora更省资源的微调方案
m0_73185787的博客
08-08 638
论文引入了一种微调方法VERA，冻结一对随机初始化（A B）的矩阵，在所有适应层之间共享，并引入可训练的缩放向量( d b )，以实现逐层适应与 LoRA 相比，该方法显着减少了可训练参数的数量，从而在下游任务上产生类似或更好的结果.
大模型微调：3-高效微调原理详解LongLoRA+VeRA+S-LoRA
09-21 1144
本文深入解析了三种前沿的大模型高效微调技术：LongLoRA、VeRA和S-LoRA。LongLoRA通过稀疏局部注意力机制和LoRA结合，显著降低了长文本微调的计算成本；VeRA采用基于向量的随机矩阵适应，进一步提升了参数效率；S-LoRA则实现了多LoRA适配器的并发服务架构。文章从技术背景、核心原理、数学建模到实战案例，系统性地介绍了这些方法在解决大模型微调面临的资源消耗、内存限制和计算效率等关键挑战上的创新突破，为AI从业者提供了全面的技术指南。
(ICLR-2024)VERA：基于向量的随机矩阵自适应
顾道长生的科研笔记
01-13 1643
低秩自适应 (LoRA) 是一种流行的方法，可在微调大型语言模型时减少可训练参数的数量，但在扩展到更大的模型或部署大量按用户或按任务自适应的模型时，仍然面临严峻的存储挑战。在这项工作中，我们提出了基于向量的随机矩阵自适应 (VeRA)，与 LoRA 相比，它显著减少了可训练参数的数量，但保持了相同的性能。它通过使用在所有层之间共享的一对低秩矩阵并学习小缩放向量来实现这一点。我们在 GLUE 和 E2E 基准、图像分类任务上证明了它的有效性，并展示了它在 7B 和 13B 语言模型的指令调整中的应用。
【AI视野·今日NLP 自然语言处理论文速览 第五十七期】Wed, 18 Oct 2023
TomRen
10-24 1530
AI视野·今日CS.NLP 自然语言处理论文速览 Wed, 18 Oct 2023 Totally 82 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers VeRA: Vector-based Random Matrix Adaptation Authors Dawid Jan Kopiczko, Tijmen Blankevoort, Yuki Markus Asano低阶自适应 LoRA 是一种流行的方法，它可以在微
VeRA: 性能相当，但参数却比LoRA少10倍
deephub
10-25 3719
作为新的一种微调方法，VeRA显著减少了可训练参数的数量，而精度没有损失。与LoRA相比参数减少了10倍在GLUE基准测试中，robertta large的性能相同，但在GPT-2 medium的E2E基准测试中，性能降低了30%，说明这种方法特别适合于需要频繁交换大量微调模型的场景，比如针对个人用户个性化的基于云的人工智能服务。由于缩放向量尺寸小，可以将许多版本驻留在单个GPU的有限内存中，从而大大提高了服务效率，并消除了将特定模型加载到内存中的瓶颈。
什么是 VeRA（Vector-based Random Matrix Adaptation，基于向量的随机矩阵适应）
彬彬侠的博客
04-20 910
VeRA（基于向量的随机矩阵适应） 是一种用于高效微调大语言模型的参数高效微调（PEFT）方法。VeRA 通过在预训练权重矩阵上引入基于向量的随机矩阵适配机制，显著减少微调所需的参数量，同时保持模型性能接近全参数微调。VeRA 由 Kopiczko 等人在 2024 年提出，旨在解决 LoRA（Low-Rank Adaptation）等方法在参数效率和计算开销上的局限性，特别适合超大规模模型的微调。
VeRA——更高效的大型语言模型微调方法
人工智能讲师分享前沿技术
09-09 2208
人工智能咨询培训老师叶梓 转载标明出处大模型在特定任务上的高效适应性训练面临着巨大的挑战，尤其是在需要针对大量用户或任务进行个性化调整时，存储和计算资源的需求急剧增加。为了解决这一问题，来自阿姆斯特丹大学QUVA实验室的研究者团队提出了一种名为Vector-based Random Matrix Adaptation（VeRA）的新方法，旨在显著减少在微调大模型时所需的可训练参数数量，同时保持模型性能。VeRA方法的核心在于通过重新参数化权重矩阵来最小化微调过程中引入的可训练参数数量。
大模型系列——peft库中集成的最新微调方法
hang on it more longer
01-02 1029
1、LoRA 提出后，出现了许多 LoRA 的变体，每种变体都针对特定的挑战进行了改进与优化。下图展示的是 LoRA 之后引入的一些最流行的微调技术：2、介绍了多个基于LoRA的改进方法，如AdaLoRA、rsLoRA、PiSSA、DoRA等，分别通过优化训练参数的分配、调节缩放因子、改进初始化等方式提高微调效果。实验结果表明，DoRA表现最佳，提供了模型训练中的最佳实践建议。
LORA系列技术(Lora/ReLORA/Vera/Dora/LISA/PISSA/AdaLoRA/RSLoRA/Lora+/Lora-GA/MoRA)
weixin_36378508的博客
07-29 1151
LoRA 发现再微调 LLMs 时，更新矩阵（update matrix）往往特别 sparse，也就是说 update matrix 是低秩矩阵。LoRA 的作者根据这一特点将 update matrix reparametrize 为两个低秩矩阵的积积BA。其中W=[dk]，，A 和 B 的秩为 r，且 r远远小于min(d, k)。
使用 Ollama 本地运行各种 LLM
python123456_的博客
05-31 1363
今天看看另外一个产品Ollama。Ollama 的安装非常简单，只需从官网（https://ollama.com/download）下载后解压缩，并在 Terminal 中运行脚本即可完成环境设置。我尝试运行 Llama3，虽然在运行时占用了大量电脑资源，使得其他应用运行变慢，但整体体验尚可。Ollama 支持多种大型语言模型（https://ollama.com/library）。
285个地级市邻接矩阵、经济地理矩阵等8个矩阵数据（2003-2023年）
11-25
01、数据简介 共八个矩阵，各类矩阵通过量化空间关系，为区域政策制定（如交通规划、产业布局）和学术研究（如空间溢出效应、区域收敛）提供关键工具，需根据研究目标灵活选择或组合使用。 数据名称：285个地级市邻接矩阵、经济地理矩阵等8个矩阵数据 数据年份：2003-2023年 参考文献：邵帅,李欣,曹建华,杨莉莉.中国雾霾污染治理的经济政策选择——基于空间溢出效应的视角[J].经济研究,2016,51(09):73-88. 02、相关数据 地级市人均GDP、空间邻接矩阵、空间经济距离矩阵（GDP）、空间地理距离矩阵（经纬度）、空间地理距离倒数平方矩阵（经纬度）、经济地理权重矩阵（GDP和经纬度）、经济地理嵌套矩阵（GDP和经纬度）、空间经济矩阵（非对称）、空间经济地理矩阵（非对称）、纬度、经度、距离
【影视数据分析】基于C++的多维度可视化系统设计：实现高效实时数据处理与交互式决策支持 项目介绍 基于C++的影视数据可视化系统设计和实现的详细项目实例（含模型描述及部分示例代码）
最新发布
11-25
内容概要：本文详细介绍了一个基于C++的影视数据可视化系统的设计与实现，旨在应对影视行业海量、多源数据带来的分析挑战。系统利用C++的高性能优势，实现了大规模数据的高效处理与实时更新，支持多维度数据分析，涵盖票房、用户评价、社交媒体热度等，并通过柱状图、折线图、热力图、词云等多种可视化方式直观展示数据。项目强调用户友好的界面设计、跨平台兼容性、可扩展性与可定制性，结合创新的交互设计，提升用户体验与决策效率。系统不仅服务于影视创作者和营销团队，也为行业数字化转型和创新发展提供数据驱动的支持。; 适合人群：具备一定C++编程基础，从事数据分析、可视化开发或影视行业技术研究的研发人员、软件工程师及高校学生。; 使用场景及目标：①学习如何利用C++构建高性能数据可视化系统；②掌握多源数据融合、实时处理与图形渲染的技术方案；③为影视项目提供数据支持，优化内容创作与市场策略； 阅读建议：建议结合文中提到的模型设计与示例代码进行实践，重点关注数据处理流程、可视化模块实现及系统架构设计，同时可联系作者获取完整代码与GUI资源以加深理解。
CSS插入图片方法[可运行源码]
11-25
本文详细介绍了在CSS中插入图片的多种方法，包括使用background-image属性和background简写属性。通过设置不同的背景属性值，如background-color、background-position、background-size等，可以灵活控制背景图片的显示效果。文章还提供了具体的HTML示例代码，展示了如何在实际项目中应用这些属性。此外，还解释了背景图像默认位于元素左上角并在水平和垂直方向上重复的特性，以及如何通过background-repeat属性调整平铺方式。
jQuery与HTML设置只读/禁用属性[项目代码]
11-25
本文详细介绍了在jQuery和HTML中如何设置和移除表单元素的只读（readonly）和禁用（disabled）属性。在jQuery部分，通过attr()和removeAttr()方法演示了属性的动态操作，并对比了readonly与disabled的区别：disabled会阻止元素获取焦点且表单提交时排除该字段，而readonly仅限制编辑但仍可聚焦和提交。HTML部分列举了三种实现方式（onfocus=this.blur()、readonly、disabled），并附代码示例说明其视觉效果及交互差异（如灰色显示、Tab键切换等）。最后指出两者可结合使用，并补充了CSS屏蔽输入的技巧。
SQL编码规范指南[项目源码]
11-25
本文详细介绍了SQL编码规范的重要性及其具体实施方法。规范化的SQL代码能显著提升可读性、便于问题定位和团队协作。文章强调了大小写的正确使用、单引号与双引号的应用场景、缩进对齐原则、禁止使用SELECT *操作、注释的添加规范以及子句的排版规则等关键点。此外，还提供了表别名的命名建议、字段逗号放置位置等实用技巧，旨在帮助开发者编写清晰、整齐、结构化的SQL代码，从而提升编程效率和代码质量。
Layui输入事件监听[代码]
11-25
本文详细介绍了Layui框架中各种表单元素的输入事件监听方法，包括单选框、复选框、下拉菜单、输入框内容变动以及提交按钮的监听。通过示例代码展示了如何实时获取用户输入的值、监听表单元素的变化以及处理提交事件。此外，还提供了带注释的代码片段，帮助开发者理解每个事件监听器的具体功能和用法。这些方法可以广泛应用于表单验证、动态数据更新等场景，提升用户交互体验。
UAC-BOF-Bonanza[项目源码]
11-25
UAC-BOF-Bonanza is a GitHub repository that compiles various UAC (User Account Control) bypass techniques, weaponized as Beacon Object Files (BOFs). The project includes a module for the Havoc C2 Framework and extension.json files for Sliver C2, enabling users to leverage these bypass methods in red team operations. Techniques include exploiting elevated COM objects, registry modifications, DLL hijacking, and SSPI token forgery. The repository provides detailed usage instructions, OpSec considerations, and credits to original researchers. All bypasses were tested on Windows 10 and 11, though they may be detected by SOCs and EDR solutions. The project is licensed under GPL-3.0 and includes standalone implementations for each bypass.
【2025年10月最新优化算法】混沌增强领导者黏菌算法（Matlab代码实现）
11-25
【2025年10月最新优化算法】混沌增强领导者黏菌算法（Matlab代码实现）内容概要：本文档介绍了2025年10月最新提出的混沌增强领导者黏菌算法（Matlab代码实现），属于智能优化算法领域的一项前沿研究。该算法结合混沌机制与黏菌优化算法，通过引入领导者策略提升搜索效率和全局寻优能力，适用于复杂工程优化问题的求解。文档不仅提供完整的Matlab实现代码，还涵盖了算法原理、性能验证及与其他优化算法的对比分析，体现了较强的科研复现性和应用拓展性。此外，文中列举了大量相关科研方向和技术应用场景，展示其在微电网调度、路径规划、图像处理、信号分析、电力系统优化等多个领域的广泛应用潜力。; 适合人群：具备一定编程基础和优化理论知识，从事科研工作的研究生、博士生及高校教师，尤其是关注智能优化算法及其在工程领域应用的研发人员；熟悉Matlab编程环境者更佳。; 使用场景及目标：①用于解决复杂的连续空间优化问题，如函数优化、参数辨识、工程设计等；②作为新型元启发式算法的学习与教学案例；③支持高水平论文复现与算法改进创新，推动在微电网、无人机路径规划、电力系统等实际系统中的集成应用； 其他说明：资源包含完整Matlab代码和复现指导，建议结合具体应用场景进行调试与拓展，鼓励在此基础上开展算法融合与性能优化研究。
微信小程序二维码生成[源码]
11-25
本文介绍了在微信小程序中使用weapp-qrcode.js生成二维码的方法。首先需要在页面中引入weapp-qrcode.js文件，然后在wxml中添加canvas元素用于绘制二维码。通过创建QRCode实例并传入canvas的id、文本内容、宽度、高度、颜色等参数，即可生成二维码。其中，text参数为需要转换为二维码的字符串，width和height设置二维码的尺寸，colorDark和colorLight分别设置二维码的两种交替颜色，correctLevel参数用于设置二维码的准确度。如需重新生成二维码，可调用makeCode方法并传入新的文本内容。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值