15、解决灾难性遗忘的互补学习系统理论

解决灾难性遗忘的互补学习系统理论

1. 概述

深度学习近年来取得了突破，因为这些网络旨在模仿人类神经系统，并且在一定程度上确实做到了。然而，这种成功主要局限于单任务学习，在持续学习环境中保留所学知识仍然是一个重大挑战。当深度网络在具有不同数据分布的多个连续任务上进行训练时，新获得的知识通常会干扰过去所学的知识。结果，网络往往无法以与过去经验一致的方式积累新学的知识，并且在学习新任务时会忘记过去学过的任务，这种现象被称为灾难性遗忘。

这与人类一生的持续学习能力形成鲜明对比。当人类学习新任务时，不仅能从过去的经验中受益，更高效地学习新任务，而且新学的知识通常不会干扰过去的知识。

缓解灾难性遗忘的主要方法之一是重放选择性存储在内存缓冲区中的过去任务的数据点，这与互补学习系统（CLS）理论一致。CLS理论假设，涉及新皮层和海马体的双长期和短期记忆系统，对于人类的持续终身学习能力是必要的。具体来说，海马体将近期经验快速编码为短期记忆，通过睡眠期间的经验重放，将知识巩固到较慢的新皮层中作为长期记忆。

同样，如果我们像在新皮层中一样，在缓冲区中选择性地存储过去任务的样本，它们可以与来自近期记忆海马体存储的当前任务样本交错重放给深度网络，从而使深度网络能够联合学习过去和当前的经验。也就是说，在线顺序学习问题被转化为一个离线多任务学习问题，支持在所有任务上的性能。但这种方法的一个主要问题是，随着学习的任务增多，存储数据点的内存大小会增加。基于生成模型的最新成功，我们可以通过修改网络结构来解决这个挑战，使它能够为过去学习的任务生成伪数据点，而无需显式存储数据点。

我们的目标是通过在潜在嵌入空间中耦合顺序任务来解决灾难性遗忘问题。我们将这个空间建模为深度编码器的