Raki的读paper小记：Kernel Continual Learning

Abstract & Introduction & Related Work

• 研究任务
  持续学习
• 已有方法和相关工作
• 面临挑战
• 创新思路
  • 部署了一个外显记忆单元，为每个任务存储一个子储存每个任务的子样本集，以学习特定任务的 基于核岭回归的分类器
  • 不需要记忆重放，而且系统性地避免了分类器的任务干扰
  • 我们进一步引入变分随机特征，来为每个任务学习一个数据驱动的内核，为此，我们将核持续学习表述为一个变分推断问题，其中随机傅里叶基被纳入为隐变量
  • 我们通过将特征提取器与分类器解耦来引入基于核的特定任务分类器，以实现持续学习
• 实验结论

随机傅里叶基础上的变分后验分布是从每个任务的核心集推断出来的。通过这种方式，我们能够生成针对每个任务的信息量更大的核，而且更重要的是，可以减少核心集的大小，以实现更紧凑的记忆，从而产生更有效的基于偶发记忆的持续学习。对四个基准的广泛评估表明了持续学习的内核的有效性和前景

核提供了几个好处：

1. 分类器的直接干扰被自然地避免了，因为核是以非参数的方式为每个任务建立的，并且没有分类器的参数是跨任务共享的
2. 此外，与现有的记忆重放方法相比，例如（Kirkpatrick等人，2017；Chaudhry等人，2019a），我们的内核持续学习在训练当前任务时不需要重放以前任务的数据，这避免了任务干扰，同时可以实现更有效的优化。
   为了实现每个任务的自适应内核，我们进一步引入随机傅里叶特征，以数据驱动的方式学习核

具体来说，我们将带有随机傅里叶特征的内核持续学习表述为一个变分推理问题，其中随机傅里叶基础被视为一个潜变量

变分推理的表述自然地诱导出一个正则化项，鼓励模型只从核心集为每个任务学习自适应核。作为一个直接的结果，我们能够用体积更小内存，从而减少存储开销

Kernel Continual Learning

Problem Statement

我们考虑在当前任务 $t$ 上学习模型，给定其训练数据 ${\mathcal{D}}_t$ ，我们统一选择当前任务$t$ 中现有类之间的数据子集，称为核心集数据集（Nguyen等人，2018），表示为。 $C_t=({\mathbf{x}}_{\mathbf{i}},{\mathbf{y}}_{\mathbf{i}}{)}_{i=1}^{}$