2024_ICLR_Honorable mentions_META CONTINUAL LEARNING REVISITED: IMPLICITLY ENHANCING ONLINE HESSIAN

文章核心总结与翻译

一、主要内容

文章聚焦持续学习（CL）中的灾难性遗忘问题，围绕Hessian矩阵近似展开研究。正则化方法通过固定Hessian估计保留旧任务知识，但缺乏时效性；元持续学习（Meta-CL）通过超梯度隐式在线更新Hessian，却因记忆缓冲随机采样导致方差过高。为此，作者提出方差减少元持续学习（VR-MCL），结合动量方差减少技术，在保留Meta-CL时效性优势的同时降低方差，实现更精准的Hessian近似。通过在Seq-CIFAR10、Seq-CIFAR100和Seq-TinyImageNet数据集上的实验，VR-MCL在在线、类别增量、不平衡等多种持续学习场景中，均优于现有SOTA方法。

二、创新点

1. 建立Meta-CL与正则化方法的关联，首次从Hessian矩阵近似视角重新诠释Meta-CL，揭示其通过超梯度隐式利用二阶信息的本质。
2. 提出VR-MCL算法，将动量基方差减少技术融入Meta-CL，有效降低超梯度方差，避免模型过度更新。
3. 从理论上证明VR-MCL的方差减少机制等价于对隐式估计Hessian施加惩罚项，并给出√T阶遗憾界，验证其优化有效性。
4. 设计Mask-VR训练策略，扩大保留logits范围，协同方差减少技术进一步提升模型在类别增量场景的性能。

---

翻译部分（Markdown格式）

Abstract

正则化方法迄今为止一直是持续