论文阅读：Editable Neural Networks

ICLR2020，居然是俄罗斯的经济学学校。
文章关注的问题是，如何有效地纠正模型在特定错误上的表现，而不至于影响模型总体性能。本文称其为Editable Training，相当于是一个新问题。(感觉有点类似小样本增量学习？)

---

1.Introduction

大部分模型，对单个输入的预测要依赖所有的模型参数，做特定纠正很难不影响模型在其它输入上的性能表现。

现有方法是：1.重训练  2.人工缓存（lookup table之类的）
本文提出一种Editable Training的方法。

---

2.Related work

解释下Editable Neural Networks的idea和以下几个领域的关联：

• meta-learning：ENN同属于此，“learn to allow effective patching”
• 灾难性遗忘：与CL不同，排除了序列任务假设
• 对抗训练：ENN可通过直接学习网络的脆弱样本解决这个问题

---

3.Editing Neural Networks

定义一下问题：

原模型 f(x,θ)，参数θ由目标函数学习得到

编辑函数：