AFLoRA: Adaptive Freezing of Low Rank Adaptation in Parameter Efficient Fine-Tuning of Large Models

本文是LLM系列文章,针对《AFLoRA: Adaptive Freezing of Low Rank Adaptation in Parameter
Efficient Fine

AFLoRA:大模型参数高效微调中低阶自适应的自适应冻结

摘要

我们提出了一种新的参数高效微调(PEFT)方法,称为低秩自适应的自适应冻结(AFLoRA)。具体来说,对于每个预训练的冻结权重张量,我们添加一个可训练的低秩矩阵的并行路径,即向下投影和向上投影矩阵,每个矩阵后面都有一个特征变换向量。基于一种新的冻结分数,我们在微调过程中逐步冻结这些投影矩阵,以减少计算量并减轻过度拟合。我们的实验结果表明,根据GLUE基准评估,我们可以实现最先进的性能,平均提高高达0.85%,同时平均可训练参数减少9.5倍。在运行时间方面进行比较,AFLoRA可以产生高达1.86×与类似的PEFT替代品相比。除了我们的方法的实用性外,我们还提供了不同模块下LoRA路径的可训练性要求以及不同投影矩阵的冻结时间表的见解。代码将被发布。

1 引言

2 相关工作

3 动机案例研究

4 AFLoRA:方法

5 实验

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值