LoRA-Flow: Dynamic LoRA Fusion for Large Language Models in Generative Tasks

本文是LLM系列文章，针对《LoRA-Flow: Dynamic LoRA Fusion for Large Language Models in
Generative Tasks》的翻译。

摘要

LoRA采用轻量级模块为每个下游任务或领域定制大型语言模型（LLM），其中不同的学习附加模块代表不同的技能。将现有的LoRA组合起来处理新任务可以增强学习的LoRA的可重用性，特别有利于注释数据有限的任务。大多数先前关于LoRA组合的工作主要依赖于每个涉及的LoRA的任务级权重，使得不同的示例和token共享相同的LoRA权重。然而，在生成任务中，不同的token可能需要不同的管理技能。以语文数学任务为例，理解问题描述可能更多地依赖于语文LoRA，而计算部分可能更多地取决于数学LoRA。为此，我们提出了LoRAFlow，它利用动态权重来调整不同LoRA的影响。每一步的权重由具有极少数参数的融合门确定，仅用200个训练示例就可以学习该融合门。在六个生成任务上的实验表明，我们的方法在任务级融合权重方面始终优于基线。这强调了为LoRA组合引入动态融合权重的必要性。

1 引言

2 背景

3 方法

4 实验

5 分析