MELoRA: Mini-Ensemble Low-Rank Adapters for Parameter-Efficient Fine-Tuning

本文是LLM系列文章，针对《MELoRA: Mini-Ensemble Low-Rank Adapters for Parameter-Efficient Fine-Tuning》的翻译。

摘要

参数高效微调（PEFT）是一种流行的定制预训练大型语言模型（LLM）的方法，特别是在模型规模和任务多样性增加的情况下。低秩自适应（LoRA）基于自适应过程本质上是低维的这一理念，即显著的模型变化可以用相对较少的参数来表示。然而，与全参数微调相比，降低排名会遇到特定任务的泛化误差的挑战。我们介绍了MELoRA，这是一种小型集成低秩适配器，它使用更少的可训练参数，同时保持更高的秩，从而提供了改进的性能潜力。核心思想是冻结原始预训练权重，并用少量参数训练一组迷你LoRA。这可以捕获迷你LoRA之间的显著多样性，从而促进更好的泛化能力。我们对各种NLP任务进行了理论分析和实证研究。我们的实验结果表明，与LoRA相比，MELoRA在自然语言理解任务中的可训练参数减少了8倍，在指令遵循任务中的可用参数减少了36倍，表现出了更好的性能，这证明了MELoRA的有效性。

1 引言

2 相关工作

3 方法