持续学习——Optimal Continual Learning has Perfect Memory and is NP-HARD——ICML2020

最新推荐文章于 2024-04-22 14:08:01 发布

原创最新推荐文章于 2024-04-22 14:08:01 发布 · 454 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习

博士科研同时被 3 个专栏收录

28 篇文章

订阅专栏

增量学习

10 篇文章

订阅专栏

机器学习

5 篇文章

订阅专栏

本文探讨了持续学习算法在解决NP-HARD问题时的挑战，强调此类算法需具备完美记忆能力。介绍了三种分类方法：正则化基、重放基及贝叶斯与变分贝叶斯，并提及每个任务独立参数的学习策略。理论验证依据《持续学习的三种场景》一文。总结了基于正则项的方法，以及P、NP和NP-hard问题的概念。

在这里插入图片描述

Abstract

The main finding is that such optimal continual algorithms generally solve an NP-HARD problem and will require a perfect memory to do so.

Introduction

分类方法分成regularization-based, replay-based和bayesian and variationally Bayesian三类；另外就是每个任务学一份参数；如何验证一个continual learning算法的性能用理论《Three scenarios for
continual learning, arxiv 2019.04》；
Optimal CL algorithms would have to solve an NP-HARD problem and perfectly memorize the past.

Conclusion

the first generic theoretical study of the CL problem

Key points:
没开源代码；Well-written,值得细读，理论部分可以学习;总结经验发现型文章，有一定的理论推导；
主要讨论的是基于正则项的方法；P问题：可以在多项式级时间复杂度内解决；
NP问题：可以在多项式级时间复杂度内被验证
NP-hard问题：指问题S，满足任何NP问题都可以在多项式级时间复杂度内被归约为S（归约：即被归约的NP问题与S的答案相同，当解决了S时，就同时解决了所有的NP问题）。可以理解为，这是一个比所有NP问题都难的问题；