An Empirical Study of Catastrophic Forgetting in Large Language Models During Continual Fine-tuning

本文是LLM系列的文章，针对《An Empirical Study of Catastrophic Forgetting in Large Language Models During Continual Fine-tuning》的翻译。

摘要

灾难性遗忘（CF）是机器学习中发生的一种现象，当模型在学习新信息时忘记了先前学习的信息。由于大型语言模型（LLM）已经显示出优异的性能，揭示CF是否存在于LLM的持续微调中是很有趣的。在本研究中，我们从领域知识、推理和阅读理解的角度对LLM知识中的遗忘现象进行了实证评估。实验表明，灾难性遗忘通常在1b到7b的LLM中观察到。此外，随着规模的增加，遗忘的严重程度也会加剧。将仅解码器模型BLOOMZ与编码器-解码器模型mT0进行比较，BLOOMZ遭受较少的遗忘并且保持更多的知识。我们还观察到，LLM可以在持续微调过程中减轻语言偏见（例如性别偏见）。此外，我们发现，与LLAMA相比，ALPACA在持续微调过程中可以保持更多的知识和能力，这意味着在进一步的微调过程中，一般的指令调整可以帮助缓解LLMs的遗忘现象。

1 引言

2 相关工作

指令调整。指令调整已被证明能有效地将预先训练的语言模型的反应与人类意图或偏好相一致。这项技术改进了模型预测对给定提示的特定响应的能力，该提示可以选择性地包括概述模型任务的指令。这样的模型的例子包括T0、mT0和BLOOMZ。已经证明，指令调整可以增强语言模型在没有事先暴露的情况下泛化到看不见的任务的能力。在这项工作中，我们专注于以连续的方式微调LLM，并分析训练过程中的灾难性遗忘（CF）现象。具体而言，用于特定类型任务（如生成标题）的指令用于在每个训练阶段调整LLM，并且模型不能访问先前学习的任务。
CF在持续学习中的评价。已经提出了各种训练策略来解决持续学习中的灾难性