DELTA-LORA: FINE-TUNING HIGH-RANK PARAMETERS WITH THE DELTA OF LOW-RANK MATRICES

本文是LLM系列文章，针对《DELTA-LORA: FINE-TUNING HIGH-RANK PARAMETERS WITH THE DELTA OF LOW-RANK MATRICES》的翻译。

摘要

在本文中，我们提出了Delta-LoRA，这是一种新的参数有效的方法来微调大型语言模型（LLM）。与LoRA和其他低秩自适应方法（如AdaLoRA）相比，Delta-LoRA不仅更新低秩矩阵A和B，而且通过利用两个低秩矩阵$(A^{}$