MELoRA: Mini-Ensemble Low-Rank Adapters for Parameter-Efficient Fine-Tuning

本文是LLM系列文章,针对《MELoRA: Mini-Ensemble Low-Rank Adapters for Parameter-Efficient Fine-Tuning》的翻译。

MELoRA:用于参数高效微调的迷你集成低秩适配器

摘要

参数高效微调(PEFT)是一种流行的定制预训练大型语言模型(LLM)的方法,特别是在模型规模和任务多样性增加的情况下。低秩自适应(LoRA)基于自适应过程本质上是低维的这一理念,即显著的模型变化可以用相对较少的参数来表示。然而,与全参数微调相比,降低排名会遇到特定任务的泛化误差的挑战。我们介绍了MELoRA,这是一种小型集成低秩适配器,它使用更少的可训练参数,同时保持更高的秩,从而提供了改进的性能潜力。核心思想是冻结原始预训练权重,并用少量参数训练一组迷你LoRA。这可以捕获迷你LoRA之间的显著多样性,从而促进更好的泛化能力。我们对各种NLP任务进行了理论分析和实证研究。我们的实验结果表明,与LoRA相比,MELoRA在自然语言理解任务中的可训练参数减少了8倍,在指令遵循任务中的可用参数减少了36倍,表现出了更好的性能,这证明了MELoRA的有效性。

1 引言

2 相关工作

3 方法

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值