AFLoRA: Adaptive Freezing of Low Rank Adaptation in Parameter Efficient Fine-Tuning of Large Models

本文是LLM系列文章，针对《AFLoRA: Adaptive Freezing of Low Rank Adaptation in Parameter
Efficient Fine

摘要

我们提出了一种新的参数高效微调（PEFT）方法，称为低秩自适应的自适应冻结（AFLoRA）。具体来说，对于每个预训练的冻结权重张量，我们添加一个可训练的低秩矩阵的并行路径，即向下投影和向上投影矩阵，每个矩阵后面都有一个特征变换向量。基于一种新的冻结分数，我们在微调过程中逐步冻结这些投影矩阵，以减少计算量并减轻过度拟合。我们的实验结果表明，根据GLUE基准评估，我们可以实现最先进的性能，平均提高高达0.85%，同时平均可训练参数减少9.5倍。在运行时间方面进行比较，AFLoRA可以产生高达1.86×与类似的PEFT替代品相比。除了我们的方法的实用性外，我们还提供了不同模块下LoRA路径的可训练性要求以及不同投影矩阵的冻结时间表的见解。代码将被发布。

1 引言

2 相关工作

3 动机案例研究

4 AFLoRA：方法

5 实验

6 消融和讨论

7 结论

在本文中，我们提出了AFLoRA，这是一种LoRA适配器的自适应冻结，允许LoRA投影矩阵接近最优的可训练性，并在经过某些微调步骤后由“冻