Probing Representation Forgetting in Supervised and Unsupervised Continual Learning

本文是LLM系列文章，针对《Probing Representation Forgetting in Supervised and Unsupervised Continual Learning》的翻译。

摘要

持续学习（CL）研究通常侧重于解决神经网络中的灾难性遗忘现象。灾难性遗忘与当任务或更广泛地说是数据分布受到变化训练时，模型先前学习的知识突然丢失有关。在监督学习问题中，这种由模型表示的变化引起的遗忘通常是通过评估旧任务性能的下降来测量或观察的。然而，模型的表示可以在不丢失有关先前任务的知识的情况下进行更改。在这项工作中，我们考虑了表示遗忘的概念，通过使用最佳线性分类器在引入新任务之前和之后的性能差异来观察。使用该工具，我们重新审视了一些标准的持续学习基准，并观察到，通过这一视角，在没有任何明确控制遗忘的情况下训练的模型表征通常会经历小的表征遗忘，有时可以与明确控制忘记的方法相比较，尤其是在较长的任务序列中。我们还表明，表征遗忘可以导致对持续学习中使用的模型容量和损失函数的影响的新见解。基于我们的结果，我们表明，一种简单但有竞争力的方法是通过标准监督的对比学习不断学习表征，同时在对旧样本进行查询时构建类样本的原型。

1 引言

2 相关工作

3 背景和方法

4 实验

5 结论

我们强调了评估表征的重要性，而不仅仅是CL中的任务准确性。我们的结果表明，a）在监督环境中进行朴素微调时的表征遗忘并不像其他指标所表明的那样具有灾难性。b）我们证明，如果不评估特征，模型大小对遗忘和表征学习的影响将被误解。c） 我们证明了自监督SimCLR损失和监督SupCon损失在长任务序列中具有较小的表示遗忘，从而保持或提高了早期任务的