【Incremental Learning】Exploring Example Influence in Continual Learning in NIPS 2022 个人理解

最新推荐文章于 2025-12-02 20:36:53 发布

原创

最新推荐文章于 2025-12-02 20:36:53 发布 · 384 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#分类

文章介绍了在连续学习（ContinualLearning）场景下，如何通过影响函数（InfluenceFunction）评估样本对模型稳定性和可塑性的影响，进而优化基于回放的增量学习策略。作者提出了MetaSP方法来近似和计算样本影响，用于模型更新和样例选择，旨在平衡新任务学习和旧任务记忆。

一、简介

题目： Exploring Example Influence in Continual Learning
会议： NIPS 2022
任务： 数据/任务依次到来，新的数据/任务到来后旧的就不再可获取，要求模型在学习新数据/任务的同时不要忘记旧数据/任务。
Idea： 作者沿用了基于回放（Replay/Rehearsal）的增量学习（Incremental Learning, IL）策略，引入影响函数（Influence Function, IF）评估样本对模型稳定性（记忆旧知识的能力）和可塑性（学习新知识的能力）的影响，并据此更新模型和确定样本的去留（留下的样本会在更新模型时再次使用，即回放）。
Note： IL = Continual Learning。

如图，作者用IF衡量样本具有正面还是负面作用，并据IF更新模型和选取样本。

二、详情

1. 样本对稳定性和可塑性的影响

假设当前为第 $t$ 个任务，第 $t$ 个任务时模型在第 $k$ 个任务上的稳定性（ $S^k_t$ ）和对第 $t$ 个任务的可塑性（ $P_t$ ），定义如下：

其中， $k < t$ ， $\mathcal{D}_k^{\text{tst}}$ 表示第 $k$ 个任务的测试集， $\mathcal{D}_t^{\text{trn}}$ 和 $\mathcal{D}_t^{\text{tst}}$ 表示第 $t$ 个任务的训练集和测试集， $\pmb\theta_{t-1}$