A Survey on LoRA of Large Language Models

本文是LLM系列文章，针对《A Survey on LoRA of Large Language Models》的翻译。

摘要

低秩自适应（LoRA）是一种性能最佳的参数高效微调范式，它使用可插拔的低秩矩阵更新密集的神经网络层。此外，它在跨任务泛化和隐私保护方面具有显著优势。因此，LoRA最近受到了广泛关注，相关文献的数量呈指数级增长。有必要对LoRA的当前进展进行全面概述。本次调查从以下角度对进展进行了分类和回顾：（1）改善LoRA在下游任务中表现的下游适应改进变体；（2） 混合多个LoRA插件以实现跨任务泛化的跨任务泛化方法；（3） 提高LoRA计算效率的效率改进方法；（4） 在联邦学习中使用LoRA的数据隐私保护方法；（5） 应用程序。此外，本次调查还讨论了该领域的未来发展方向。最后，我们提供了一个Github页面，供读者查看更新并就这篇调查论文展开讨论。

1 引言

2 低秩自适应 （LoRA）

3 下游自适应改进

4 跨任务泛化

5 效率提升

6 用于联邦学习的LoRA

7 LoRA的应用

8 结论和未来方向

在本次调查中，从下游适应改进、跨任务泛化、效率提升、联邦学习和应用的角度系统地回顾了 LoRA 的最新进展。从这篇综