ResLoRA: Identity Residual Mapping in Low-Rank Adaption

本文是LLM系列文章，针对《ResLoRA: Identity Residual Mapping in Low-Rank Adaption》的翻译。

摘要

作为最流行的参数高效微调（PEFT）方法之一，低秩自适应（LoRA）通常用于微调大型语言模型（LLM）。然而，由于原始模型中的计算路径较长，有效快速地更新LoRA块的权重具有挑战性。为了解决这个问题，我们提出了ResLoRA，这是LoRA的一个改进框架。通过在训练过程中添加残差路径，并在推理过程中使用合并方法消除这些额外路径，与LoRA相比，我们的方法可以在更少的训练步骤中获得更好的结果，而不需要任何额外的可训练参数或推理成本。在NLG、NLU和文本到图像任务上的实验证明了我们方法的有效性。据我们所知，ResLoRA是第一个将残差路径与LoRA相结合的工作。我们的方法代码在https://github.com/microsoft/LMOps/tree/main/reslora可用。

1 引言

2 相关工作

3 方法

4 实验

5 结论

我们开发了一种新的改进框架ResLoRA用于低秩自适应（LoRA）。ResLoRA在训练过程中添加残差路径，并在推理过程中使用合并方法删除这些路径。与原始LoRA和其他基线方法相比，在没有任何额外可训练参数的情况下，ResLoRA可以在更少的训练步骤中获得更好的结果。我们在NLG、NLU和文本到图像任务上对三种类型的ResLoRA结构进行了实验