LoRA Learns Less and Forgets Less

本文是LLM系列文章，针对《LoRA Learns Less and Forgets Less》的翻译。

摘要

低秩自适应（LoRA）是一种广泛应用于大型语言模型的参数高效微调方法。LoRA通过仅将低秩扰动训练到选定的权重矩阵来节省内存。在这项工作中，我们比较了LoRA和完全微调在编程和数学两个目标领域的性能。我们同时考虑指令微调（≈100K提示响应对）和连续预训练（≈10B非结构化token）数据机制。我们的研究结果表明，在大多数情况下，LoRA的性能明显不如完全微调。尽管如此，LoRA表现出了一种理想的正则化形式：它可以更好地保持基本模型在目标域外任务上的性能。我们表明，与权重衰减和丢弃等常见技术相比，LoRA提供了更强的正则化；它也有助于保持更多元化的生成。我们表明，全微调学习的扰动的秩比典型的LoRA配置大10-100X，这可能解释了一些报道的差距。最后，我们提出了使用LoRA进行微调的最佳实践。

1 引言

2 背景

3 实验设置

4 结果

5 相关工作

6 讨论

7 结论

这项工作揭示了用LoRA训练的当代LLM（具有70亿和130亿个参数）的下游性能。与大多数先前的工作不同，我们在代码和数学中使用特定于领域的数据集，并与敏感的评估指标相关联。我们发现，LoRA在这两个领域都表现不佳。我们还表明，LoRA使微调模型的行为与基本模型的行为接近，减少了源域遗忘，在推理时产生了更多不同的生成。我们研究了