QDyLoRA: Quantized Dynamic Low-Rank Adaptation for Efficient Large Language Model Tuning

本文是LLM系列文章，针对《QDyLoRA: Quantized Dynamic Low-Rank Adaptation for Efficient Large Language Model Tuning》的翻译。

摘要

微调大型语言模型需要巨大的GPU内存，限制了获取大型模型的选择。虽然低秩自适应技术的量化版本QLoRA显著缓解了这一问题，但找到有效的LoRA秩仍然具有挑战性。此外，QLoRA是在预定义的秩上进行训练的，因此，在不需要进一步微调步骤的情况下，不能为其较低的秩进行重新配置。本文提出了一种有效的量化动态低秩自适应方法——QDyLoRA。受Dynamic LoRA的启发，QDyLoRA能够在一组预定义的LoRA秩上有效地微调LLM。QDyLoRA能够通过一轮微调在单个32 GB V100-GPU上对Falcon-40b进行微调，使其排名从1到64。实验结果表明，QDyLoRA与QLoRA相比具有一定的竞争性，并且在使用其最优秩时表现优于QLoRA。

1 引言

2 提出的方法：量化DyLoRA

3 实验和评估

4 关于QDyLoRA的半排序行为

5 结论

QDyLoRA为下游任务中基于LoRA的LLM微调提供了一种高效的技术。消除了对多个模型进行微调以找到最佳LoRA秩的需要，并提供了对较大LLM进行微调的可能性，这是QDyLoRA的两个主要优势。实验