大语言模型的LoRA研究综述，什么是LoRA模型？如何使用和训练LoRA模型？一文带你完全搞懂LoRA！

最新推荐文章于 2025-10-09 11:35:49 发布

原创

最新推荐文章于 2025-10-09 11:35:49 发布 · 1.3k 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#语言模型 #人工智能 #深度学习 #大模型 #agi #aigc #lora

大模型低秩适应技术（Low-RankAdaptation，LoRA）通过可插拔的低秩矩阵更新密集神经网络层，是当前参数高效微调范式中表现最佳的方法之一。此外，它在跨任务泛化和隐私保护方面具有显著优势。因此，LoRA 最近受到了广泛关注，相关文献的数量呈指数增长。对LoRA的当前进展进行全面综述是必要的。

本综述从以下几个方面分类并回顾了LoRA的进展：（1） 改进LoRA在下游任务性能的变体；（2） 通过混合多种LoRA插件实现跨任务泛化的方法；（3） 提高LoRA计算效率的方法；（4） 在联邦学习中使用LoRA的数据隐私保护方法；（5）应用。此外，本综述还讨论了该领域的未来研究方向。

预训练语言模型参数规模的迅速增加提升了它们的泛化能力，并带来了新的能力。近年来，预训练语言模型的参数规模增加了数千倍（例如，从具有3.3亿参数的BERT[1]到具有5400亿参数的PaLM[2]）。这些具有大参数规模的预训练语言模型被称为大语言模型（LLMs）。然而，由于LLMs的知识边界，它们在某些下游任务中的能力仍然有限。为了扩展知识边界，仍然有必要在下游任务上微调LLMs。

然而，对LLM进行全参数微调（即全量微调）计算开销极其巨大，例如，对LLaMA2-7B[3]模型进行全量微调需要大约60GB的内存，超出了普通消费级GPU的容量[4]。为了减少计算成本，提出了各种参数高效微调（PEFT）方法[5]。这些方法通过只微调少量（额外的）模型参数来使LLMs适应下游任务。从是否涉及额外参数的角度来看，PEFT方法可以分为两类：额外参数方法和内部参数方法。额外参数方法冻结LLM的所有原始参数，并插入一组可学习的参数来优化模型输入或模型层，如适配器调优[6]和提示调优[7]。相比之下，内部参数方法冻结LLM的大部分原始参数，只微调LLM的一小部分参数，如BitFit[8]、LISA[4]和LoRA[9]。

在无法修改模型架构的情况下，内部参数方法是理想的。在内部参数方法中，LoRA是使用最广泛的方法，因为它在多个下游任务上可以实现与全量微调相当或更好的下游适应性能[9]，且易于实施。此外，还提出了许多变体，以进一步提高LoRA在更具挑战性的下游任务中的适应能力。

LoRA通过使用可插拔的低秩矩阵更新LLM的密集神经网络层来实现参数效率