2025_NIPS_Nearly Optimal Bounds for Cyclic Forgetting

文章总结与翻译

一、主要内容

本文聚焦线性任务持续学习场景中的循环遗忘问题，核心研究 cyclic 任务排序下（T 个任务循环 m 次）的遗忘量边界。具体内容如下：

1. 问题背景：持续学习的核心挑战是“灾难性遗忘”，即模型适应新任务时易丢失旧任务知识。针对数据常呈现周期性的特点（如金融、搜索引擎数据的“周效应”），研究基于循环投影的线性回归任务遗忘规律，这类任务可等价于循环块 Kaczmarz 型算法的残差边界问题。
2. 问题设定：将每个任务的输入输出构建为矩阵和向量，学习算法通过块 Kaczmarz 更新（投影到任务的解空间）迭代优化参数，遗忘量定义为迭代后参数在所有先前任务上的平均损失。通过归一化处理（将最优解平移至原点、标准化初始参数和任务矩阵范数）简化分析。
3. 核心结论：证明了循环遗忘量的上界为 $O$