ALoRA: Allocating Low-Rank Adaptation for Fine-tuning Large Language Models

本文是LLM系列文章，针对《ALoRA: Allocating Low-Rank Adaptation for Fine-tuning Large Language Models》的翻译。

摘要

参数有效微调（PEFT）在大语言模型时代因其有效性和效率而被广泛研究。低秩自适应（LoRA）作为一种流行且具有代表性的方法，表现出了值得称赞的性能。然而，它是用固定的内在秩来实现的，这可能不是下游任务的理想设置。认识到需要更灵活的下游任务自适应，我们将LoRA的方法扩展到一种创新的方法，我们称之为分配低秩自适应（ALoRA），该方法能够在自适应过程中对固有秩进行动态调整。首先，我们提出了一种新的方法AB-LoRA，它可以有效地估计每个LoRA秩的重要性得分。其次，在AB LoRA的指导下，我们逐步修剪大量且对LoRA产生负面影响的LoRA等级，并将修剪后的LoRA预算分配给需要更高等级的重要Transformer模块。我们在各种任务上进行了实验，实验结果表明，我们的ALoRA方法可以在具有可比可调参数的情况下优于最近的基线。

1 引言

2 相关工作

3 方法

4 实验

5 结论

这项工作提出了分配低秩自适应（ALoRA），这是一种用于参数高效微调大型语言模型的创新方法。在假设不同Transformer模块的自适应可以是不同的储罐的基础上，我们引入了一种在微调过程中分配LoRA等级的新工作流程。首先，我们提出了一种新的方法，即AB-DNAS，来准确评估LoRA等级的重要性得分。其次，在AB-DNAS方法的指导下，我们的工作流程允许修剪特定模块的排名，并考虑将更多的排名分配给基本模块。因此，我们的方法不需要设置