终生学习旨在让模型在不断学习新任务的同时保持对旧任务的记忆，避免灾难性遗忘。文章介绍了弹性权重巩固(EWC)、生成数据以模拟多任务学习、增量分类和表示学习等方法，以及前进转移、后退转移等评价指标。此外，还探讨了模型自动扩展的技术，如进步神经网络和专家门等。未来的研究方向包括课程学习和任务之间的关系探索。
Life long learning：训练同一个大脑，学不同的任务（对比多任务学习，没有足够的地方存储过去的数据）
三个要点：
- knowledge retention记住学习的知识，not intransigence不能固执不改变。
机器先学a在学b就会忘记a，但是同时学a和b就能都记得不错，称之为catastrophic forgetting
- knowledge transfer
- model expansion，but parameter efficiency
第一条：解决思路
elastic weight consolidation（EWC）：保留过去任务中重要的参数不变
使用保卫参数记录每个参数的重要程度，并且把保卫参数和参数变化量的乘积加进loss函数
求loss对参数的二阶导数来计算保卫参数
经典变式：synaptic intelligence；memory aware synapses（不需要数据标签）
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
