Alan的博客

灾难性遗忘发生在神经网络在后续任务训练后丢失在前一个任务中学习到的信息。这个问题对于具有顺序学习能力的人工智能系统来说仍然是一个障碍。在本文中，我们提出了一种基于任务的硬注意力机制，它可以在不影响当前任务学习的情况下保留之前任务的信息通过随机梯度下降，对每个任务同时学习硬注意力掩码，并且利用以前的掩码来调节这种学习。我们表明，所提出的机制对于减少灾难性遗忘是有效的，将当前的遗忘率降低了45%到80%。我们还展示了它对于不同超参数选择的鲁棒性，并且它提供了许多监控功能。

在这项工作中，我们研究了连续语义分割问题，其中深度神经网络需要纳入新的类持续而没有灾难性遗忘。我们建议使用一种结构的重新参数化机制，命名为表示补偿(RC)模块，以解耦新旧知识的表示学习。RC模块由两个动态演化的分支组成，其中一个是冻结的，另一个是可训练的此外，我们在空间维度和通道维度上设计了集合立方体知识提炼策略，进一步增强了模型的可塑性和稳定性。我们对两种具有挑战性的连续语义分割场景进行了实验，连续类分割和连续域分割。在推断过程中没有任何额外的计算开销和参数，我们的方法优于最先进的性能。https。...

Mimicking the Oracle: An Initial Phase Decorrelation Approach for Class Incremental Learning (CVPR2022)模拟Oracle：一种用于类增量学习的初始阶段去相关方法目录传送门Abstract1. Introduction2. Related Works3. Methodology 方法3.1. Directly Mimicking the Oracle Model Repre-sentation at In

Learning to Prompt for Continual Learning (CVPR2022)学习促进持续学习目录传送门Abstract1. Introduction传送门papercodeAbstract持续学习背后的主流范式是适应非平稳数据分布的模型参数，其中灾难性遗忘是核心挑战。典型的记忆方法依赖于预演缓冲器或已知的测试时的任务识别来恢复已学习的知识并解决遗忘问题，而本研究为持续学习提供了一种新的范式，旨在训练一个更简洁的记忆系统，而不需要在测试时访问任务识别。我们的方法学习

https://mp.weixin.qq.com/s/lUkydJaClqCoZIZ6THTRBA

Progressive Neural Networks渐进式神经网络目录传送门AbstractIntroductionProgressive NetworksTransfer Analysis 转移分析Related Literature相关文献Experiments实验传送门papercodeAbstract学习解决复杂的任务序列——同时利用转移和避免灾难性遗忘——仍然是实现人类水平智能的关键障碍。渐进式网络方法代表了向这个方向前进的一步:它们对遗忘免疫，并且可以通过与之前学习的特征的横向连

DER:类增量学习的动态可扩展表示文章目录AbstractAbstract我们解决了班级增量学习的问题，这是实现自适应视觉智能的核心步骤。特别地，我们考虑了有限记忆的增量学习任务设置，目的是实现更好的稳定性-可塑性平衡。为此，我们提出了一种新的两阶段学习方法，该方法利用一种动态可扩展的表示来实现更有效的增量概念建模。具体来说，在每一个增量步骤中，我们冻结之前学习的表示，并从一个新的可学习特征提取器中增加特征维度来扩充它。这使我们能够整合新的视觉概念和保留所学知识。我们通过引入信道级的基于掩码的剪枝策略

papercode摘要：人一生都在学习。然而，传统神经网络的增量更新会导致灾难性遗忘。一种常见的治疗方法是回放，这是由大脑巩固记忆的方式启发的。重播涉及在新旧实例的混合上微调网络。虽然有神经科学证据表明大脑会重放压缩的记忆，但现有的卷积网络重放原始图像的方法。在这里，我们提出REMIND，一种大脑启发的方法，可以通过压缩表示实现有效的重放。REMIND是通过在线方式进行训练的，这意味着它一次学习一个例子，这更接近于人类的学习方式。在相同的约束条件下，REMIND在ImageNet ILSVRC-201