ADALORA: ADAPTIVE BUDGET ALLOCATION FOR PARAMETER-EFFICIENT FINE-TUNING

以下是文章《ADALORA: ADAPTIVE BUDGET ALLOCATION FOR PARAMETER-EFFICIENT FINE-TUNING》摘要的翻译：

---

摘要：在自然语言处理（NLP）中，对大型预训练语言模型进行下游任务的微调已经成为一种重要的范式。然而，常见的做法是对预训练模型中的所有参数进行微调，当存在大量下游任务时，这种方法变得难以承受。因此，许多微调方法被提出，以一种参数高效的方式学习预训练权重的增量更新，例如低秩增量。这些方法通常会将增量更新的预算均匀分配到所有预训练权重矩阵中，却忽略了不同权重参数的重要性差异。因此，微调性能并非最优。为了弥补这一差距，我们提出了AdaLoRA，它可以根据权重矩阵的重要性分数自适应地分配参数预算。具体而言，AdaLoRA通过奇异值分解的形式参数化增量更新。这种新颖的方法使我们能够有效地修剪不重要更新的奇异值，本质上是减少它们的参数预算，同时避免密集的精确奇异值分解（SVD）计算。我们在自然语言处理、问答和自然语言生成等多个预训练模型上进行了广泛的实验，以验证AdaLoRA的有效性。结果表明，AdaLoRA在低预算设置下尤其优于基线方法。我们的代码已在GitHub上公开。

---