Scaling Laws for Forgetting When Fine-Tuning Large Language Models

本文是LLM系列文章，针对《Scaling Laws for Forgetting When Fine-Tuning Large Language Models》的翻译。

摘要

我们研究并量化了在下游任务中微调预先训练的大型语言模型（LLM）时的遗忘问题。我们发现，参数有效微调（PEFT）策略，如低秩适配器（LoRA），仍然存在灾难性遗忘。特别是，当使用LoRA微调LLM时，我们确定了微调性能和遗忘量之间的强逆线性关系。我们进一步获得了精确的比例律，该比例律显示遗忘随着微调参数数量和更新步骤数量的幂律移动而增加。我们还研究了遗忘对知识、推理和Llama 2 7B聊天中训练的安全护栏的影响。我们的研究表明，不能通过提前停止或通过改变微调参数的数量来避免遗忘。我们相信，这为未来的研究开辟了一个重要的安全关键方向，以评估和开发减轻遗忘的微调方案。

1 引言

2 相关工作和背景

3 方法和实验设置

4 经验结果和遗忘规律

5 结论

总之，使用LoRA微调设置，我们实证证明，在对下游任务进行微调期间，微调损失的线性函数