null_zhao的博客

、2020.6 arxiv，一篇分析灾难遗忘的文章1.Introduction模型在non-stationary的数据分布上学习时，在旧数据上，有性能损失。除continual learning外，灾难性遗忘于多任务学习和标准监督学习中，面对分布偏移和数据增强时也存在。现有的很多方法都只在特定的设定下有效，对灾难性遗忘本身还是缺乏理解。本文贡献：通过使用代表性相似度、层冻结、层重置实验，探究遗忘如何影响网络的隐含表示。深层(靠近输出)是遗忘的主要来源。 使用层级标签结构的CIFAR

ICLR2020，居然是俄罗斯的经济学学校。文章关注的问题是，如何有效地纠正模型在特定错误上的表现，而不至于影响模型总体性能。本文称其为Editable Training，相当于是一个新问题。(感觉有点类似小样本增量学习？)1.Introduction大部分模型，对单个输入的预测要依赖所有的模型参数，做特定纠正很难不影响模型在其它输入上的性能表现。现有方法是：1.重训练 2.人工缓存（lookup table之类的）本文提出一种Editable Training的方法。2.Rela...

目标检测模型Faster RCNN的增量学习方法目前Faster Rcnn的目前唯一增量学习扩展方法，似乎是arxiv的。目标检测的增量学习框架研究很少，一个Fast Rcnn的，一个RetinaNet的1.Introduction

Dropout as an Implicit Gating Mechanism For Continual Learning来自CVPR2020 workshop，Deepmind和华盛顿州立大学。搜了下发现此外还有三个华盛顿大学，这是综合排名最低的一个...早有研究发现，dropout后的网络，在类增量学习中，会遗忘地慢一些，然而对此并没有清晰的解释。本文研究了dropout和遗忘的关系，认为dropout相当于一个隐式的门机制，会给网络带来稳定性，这就是防止遗忘的关键。用门机制来做CL的

PackNet: Adding Multiple Tasks to a Single Network by Iterative PruningUIUC，CVPR2018。相比CPG，只有C部分。迭代剪枝+微调学习新任务。剪枝：weight-magnitude-based : 剪去每层absolute magnitedu最小的，50-75%。只剪当前任务。...

这是将单个网络扩展为多任务的方法，假设一个全连接线性模型，这个模型是已经训练好的，固定的。实数mask ，大小等于; 训练时，固定，训练，其反向传播公式如下： 将用阈值二值化，得任务K的mask ; 推断时...

Task-Free Continual Learning来自CVPR2019，比利时鲁汶大学 。当前continual learning常假设，一次一个任务，所有当前数据可用，之前数据不可用。这个条件现实不常满足。本文提出的系统学习流数据，分布不断变化，不同任务间没有区分。本文方法基于Memory Aware Synapses，提供了以下协议将其转化为online的：何时 更新重要权重 更新时 用哪个数据 如何在更新时 累积权重重要性该模型在以下任务上的实验结果展现了有效性：(自)监督

Compacting, Picking and Growing for Unforgetting Continual Learning这是2019年的NIPS的文章，来自台湾中央研究院资讯科学研究所。这篇关注深度模型压缩、关键权重选择、渐进网络扩展。呼应标题的压缩、选择、成长。作者提出一个简单的方法，避免遗忘，并且之累积的知识会帮助建立一个更好的模型（比起重新训练来说）。看起来不只是类增量的研究，这也和标题不是incremental learning而是Continual lifelong le

IL2M: Class Incremental Learning With Dual Memory1.简介双记忆的类增量学习2.相关工作3.类增量学习范式4.方法5.实验