Raki的读paper小记：DualNet: Continual Learning, Fast and Slow

Abstract & Introduction & Related Work

• 研究任务
  持续学习
• 已有方法和相关工作
• 面临挑战
  • 虽然无监督和元训练在简单的数据集如MNIST和Omniglot上显示出比较好的结果，但它们缺乏对现实世界基准的扩展性。相比之下，我们的DualNet将表征学习解耦到慢速学习器中，通过与监督学习阶段的同步训练，在实践中是可以扩展的。此外，我们的工作将自我监督的表征学习纳入持续的学习过程中，不需要任何预训练步骤
• 创新思路
  • 提出了DualNet，其中包括一个快速学习系统，用于从特定任务中监督学习模式分离的表征，以及一个慢速学习系统，用于通过自我监督学习（SSL）技术对任务无关的一般表征进行无监督学习，这两个快速和缓慢的学习系统是相辅相成的
• 实验结论

根据神经科学的互补学习系统（CLS）理论[37]，人类通过两个互补的系统进行有效的持续学习：
以海马体为中心的快速学习系统，用于快速学习具体知识和个人经验；位于新皮质的慢速学习系统，用于逐步获得关于环境的结构化知识

人类具有在其一生中学习和积累知识以完成不同认知任务的非凡能力。有趣的是，这种能力被归因于不同的相互联系的大脑区域之间的复杂互动。一个突出的模型是互补学习系统（CLS）理论，该理论认为大脑可以通过 "海马体 "和 "新皮质 "这两个学习系统实现这种行为。特别是，海马体的重点是快速学习特定经验的模式分离表征。通过记忆巩固过程，海马体的记忆随着时间的推移被转移到新皮层，形成一个更普遍的表征，支持长期保留和对新经验的概括。这两个快速和缓慢的学习系统总是相互作用，促进快速学习和长期记忆。虽然深度神经网络已经取得了令人印象深刻的结果，但它们往往需要获得大量独立同分布的数据，同时在任务流的持续学习场景中表现不佳。因此，本研究的重点是探索CLS理论如何能够激励一个通用的持续学习框架，在缓解灾难性遗忘和促进知识转移之间进行更好的权衡

在文献中，一些持续学习策略受到CLS理论原理的启发，从使用外显记忆到改进表征。然而，这些技术大多使用单一的主干来模拟海马体和新皮层，将两种表征类型结合到同一个网络中。此外，这类网络的训练是为了最小化监督损失，它们缺乏一个单独的、特定的慢速学习组件来支持一般的表征学习。在持续学习过程中，通过对少量记忆数据反复进行监督学习得到的表征容易出现过拟合，而且在不同的任务中可能不能很好地泛化。考虑到在持续学习中，无监督的表征与有监督的表征相比，往往更容易被遗忘，而有监督的表征产生的改进很少；我们建议将表征学习与有监督的学习解耦为两个独立的系统。为了实现这一目标，类似于新皮层中的缓慢学习系统，我们建议使用自我监督学习（SSL） 来实现缓慢的一般表征学习系统。请注意，最近的SSL工作集中在预训练阶段，这对于持续学习来说并不是小事，因为它在存储和计算成本方面都很庞大。我们认为，SSL应该被纳入持续学习过程，同时与监督学习阶段脱钩，成为两个独立的系统。因此，SSL的慢速表示法更具有普遍性，可以从数据中捕捉到内在的特征，这有利于更好地概括新旧任务

Method

Setting and Notations

数据： D = { x i , t i , y i } \mathcal{D} = \{x_i, t_i, y_i\} D={ xi​,ti​,yi​} ，$t_i$ 代表一个可选的任务标识符

每个标记的数据样本都是从代表一个任务的潜在分布 $P^t(X,Y)$中抽取的，并且可以突然改变为