Investigating Forgetting in Pre-Trained Representations Through Continual Learning

本文是LLM系列文章，针对《Investigating Forgetting in Pre-Trained Representations Through Continual Learning》的翻译。

摘要

表征遗忘是指在持续训练过程中，语境化表征的漂移。直观地说，表征遗忘会影响预先训练的语言模型中存储的一般知识，但具体效果尚不清楚。在本文中，我们研究了表示遗忘对预先训练的语言模型的通用性的影响，即处理未来下游任务的潜在能力。具体来说，我们设计了三个度量标准，包括整体一般性破坏（GD）、句法知识遗忘（SynF）和语义知识遗忘（SemF），来衡量一般知识在持续学习中的演变。通过大量的实验，我们发现在各种预先训练的LMs中，普遍性被破坏，句法和语义知识在不断学习中被遗忘。基于我们的实验和分析，我们进一步得到了缓解一般知识遗忘的两个见解：1）最初对一般语言任务的训练可以缓解一般知识忘记；2） 与只考虑排练或正则化的方法相比，混合连续学习方法可以减轻通用性的破坏，并保持更多的通用知识。

1 引言

2 相关工作

3 方法

4 任务和模型

5 实验和结果

6 结论

在本文中，我们通过持续学习研究了表征遗忘对预先训练的LMs的普遍性的影响。实验表明，在持续的训练中，表征中的一般知识被负面遗忘，破坏了预先训练的语言模型的通用性。广泛的研究结果为我