Incremental learning 阅读笔记(1)

一、文献名称: Learning and Transforming General Representations to Break Down Stability-Plasticity Dilemma

1.主要问题：在类增量学习中，学习模型必须能够增量更新知识以识别新出现的类。同时保持知识以识别其已经学习的类。————相互冲突。

2.主要解决方案：

• 提出一种新的类增量学习框架，该框架学习通用表示并将其转换为适合目标分类任务的表示
• 自我监督和注意力技术实现一般表征的获取和转换
• 引入一种新的知识蒸馏损失，使得转化机制稳定

3.验证：基准数据集——提高平均增量精度

4.全文理解：

问题：增量学习的困境——稳定性和可塑性的冲突

研究现状的总结——研究现状未解决的问题——本文采取的方法。

贡献如下：

• 提出新的CIL框架，使得模型学习一般表示，并将它们转换为适合目标分类任务的表示
• 设计新的知识蒸馏损失，提高转化机制的稳定性
• 实验验证，证实该框架提高了使用知识提取的现有CIL模型的平均增量精度

插入知识：表征学习目的是对复杂的原始数据化繁为简，把原始数据的无效的或者冗余的信息删除，把有效的信息进行提炼，形成特征。

个人理解：如果模型已经学习了足够的信息来识别新类的一般表示，那么就不需要进行对模型的更改。————现有的方法无法实现，所以本文便由此启发。