Dropout as an Implicit Gating Mechanism For Continual Learning

Dropout as an Implicit Gating Mechanism For Continual Learning

来自CVPR2020 workshop，Deepmind和华盛顿州立大学。搜了下发现此外还有三个华盛顿大学，这是综合排名最低的一个...

早有研究发现，dropout后的网络，在类增量学习中，会遗忘地慢一些，然而对此并没有清晰的解释。本文研究了dropout和遗忘的关系，认为dropout相当于一个隐式的门机制，会给网络带来稳定性，这就是防止遗忘的关键。

用门机制来做CL的研究之前也有一些，本文认为CL的问题同稳定性-塑性困境（stability-plasticity dilemma）有很强关联，这个原是生物神经研究的术语。

Table of Contents

Dropout as an Implicit Gating Mechanism For Continual Learning

1Introduction

2.Related Work

3.Dropout and Network Stability

4.Experiment Setup

5.Results

---

1.Introduction

• 问题： Continual Learning ，序列任务学习，学了新的会忘掉旧的，远达不到多任务学习的上限。

 

• motivation ：
dropout 后的网络，会遗忘地更慢；没 dropout 的网络，学习更快 ；
生物智能的稳定性 - 可塑性问题（ stability-plasticity dilemma ）。
 

• 之前 的解释 ： dropout 限制了网络用于学习一个任务的神经元，相当于增加了网络最佳容量 。
 

• 我们的解释： dropout 网络表现与门机制网络相同，并在之后的学习中，为每个特定任务保留了路径。