A Data-efficient Continual Learning Paradigm for Fine-tuning Large Language Models with Instructions

本文是LLM系列文章，针对《InsCL: A Data-efficient Continual Learning Paradigm for Fine-tuning
Large Language Models with Instructions》的翻译。

摘要

指令调优有效地优化了用于下游任务的大型语言模型（LLM）。由于现实应用程序中不断变化的环境，LLM需要在不发生灾难性遗忘的情况下持续进行特定任务的适应。考虑到高昂的计算成本，基于重放的连续学习（CL）方法是LLM解决遗忘问题最简单、最广泛使用的方法。然而，传统的基于重放的方法没有完全利用指令来定制重放策略。在这项工作中，我们提出了一种新的范式，称为基于指令的持续学习（InsCL）。InsCL根据Wasserstein Distance与指令计算的任务相似性，动态回放先前的数据。此外，我们进一步引入了指令信息度量（InsInfo）来量化指令的复杂性和多样性。InsInfo表示，InsCL引导回放过程更倾向于高质量的数据。我们在16个不同训练顺序的任务上进行了广泛的实验，观察到InsCL的性能不断提高。当所有任务都经过训练后，与随机回放相比，InsCL实现了3.0的相对增益，与无回放相比，实现了27.96的相对增益。

1 引言

2 相关工作

3 方法

4 实验设置

5 实验

6 结论

在本文中，我们主要讨论LLM对具有指令的连续下游任务的有效适应。基于重放的CL方法不需要对LLM进行额外的修改，并且充分利用了以前的数据，有效地减轻了灾难性遗忘。我们提出了InsCL，这是一种有效的数据高效方法，可以减轻LLM指令调优的灾难性遗忘。InsCL是一种与模型无关且