REMIND Your Neural Network to Prevent Catastrophic Forgetting

本文是神经网络系列文章，针对《REMIND Your Neural Network to Prevent Catastrophic Forgetting》的翻译。

摘要

人们一生都在学习。然而，逐步更新传统的神经网络会导致灾难性的遗忘。一种常见的治疗方法是重放，它的灵感来自大脑如何巩固记忆。重播涉及在新实例和旧实例的混合上对网络进行微调。虽然有神经科学证据表明大脑会回放压缩的记忆，但现有的卷积网络方法会回放原始图像。在这里，我们提出了REMIND，这是一种受大脑启发的方法，可以使用压缩的表示进行有效的重放。REMIND是以在线方式进行训练的，这意味着它一次学习一个例子，这更接近于人类的学习方式。在相同的约束条件下，在ImageNet ILSVRC-2012数据集上，REMIND在增量类学习方面优于其他方法。我们探讨了REMIND对已知会导致灾难性遗忘的数据排序方案的稳健性。我们通过开创性的视觉问答（VQA）在线学习来展示REMIND的通用性。

1 引言

2 问题定义

3 相关工作

4 REMIND：使用内存索引重放

5 实验：图像分类

6 实验：增量VQA

7 附加分类实验

8 讨论和结论

我们提出了REMIND，这是一种受大脑启发的基于回放的在线学习方法。REMIND在物体分类方面取得了最先进的成果。与iCaRL、Unified和BiC不同，REMIND可以应用于iid和实例排序的数据流，