超级会员免费看
大型语言模型（LLM）在持续学习时面临灾难性遗忘问题，传统方法依赖原始训练数据，但在实际应用中可能不可行。本文提出自合成复述（SSR）框架，利用LLM生成合成实例进行复述，以保留模型能力。实验证明，SSR在数据效率和性能上优于传统方法，同时保持了LLM的泛化能力，为LLM的持续学习提供了一种前景广阔的解决方案。
本文是LLM系列文章，针对《Mitigating Catastrophic Forgetting in Large Language Models with Self-Synthesized Rehearsal》的翻译。
摘要
大型语言模型（LLM）在持续学习过程中会遭受灾难性的遗忘。传统的基于复述的方法依赖于先前的训练数据来保留模型的能力，这在现实世界的应用中可能不可行。当基于公开发布的LLM检查点进行持续学习时，原始训练数据的可用性可能不存在。为了应对这一挑战，我们提出了一个称为自合成复述（SSR）的框架，该框架使用LLM生成用于复述的合成实例。具体来说，我们首先使用用于上下文学习的基本LLM来生成合成实例。随后，我们利用最新的LLM基于合成输入来细化实例输出，保留其获得的能力。最后，我们选择各种高质量的合成实例，以便在未来阶段进行排练。实验结果表明，与传统的基于复述的方法相比，SSR实现了优越或可比的性能，同时数据效率更高。此外，SSR有效地保留了LLM在一般领域的泛化能力。
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
