Mitigating Catastrophic Forgetting in Large Language Models with Self-Synthesized Rehearsal

本文是LLM系列文章，针对《Mitigating Catastrophic Forgetting in Large Language Models with Self-Synthesized Rehearsal》的翻译。

摘要

大型语言模型（LLM）在持续学习过程中会遭受灾难性的遗忘。传统的基于复述的方法依赖于先前的训练数据来保留模型的能力，这在现实世界的应用中可能不可行。当基于公开发布的LLM检查点进行持续学习时，原始训练数据的可用性可能不存在。为了应对这一挑战，我们提出了一个称为自合成复述（SSR）的框架，该框架使用LLM生成用于复述的合成实例。具体来说，我们首先使用用于上下文学习的基本LLM来生成合成实例。随后，我们利用最新的LLM基于合成输入来细化实例输出，保留其获得的能力。最后，我们选择各种高质量的合成实例，以便在未来阶段进行排练。实验结果表明，与传统的基于复述的方法相比，SSR实现了优越或可比的性能，同时数据效率更高。此外，SSR有效地保留了LLM在一般领域的泛化能力。

1 引言

2 相关工作

3 基于复述的持续学习

4 我们的框架

5 实验

6 结论

在这项工作中，我们提出了自综合复述（SSR），这是一种用于缓解LLM中灾难性遗忘的持续学习框架，以在排复述过程中有效地保存知识，而不依赖于真实数据。通过广泛的实验，SSR