增量学习
关注
分享
扫一扫
主要分享class incremental learning相关的经典论文
菜到怀疑人生
这个作者很懒，什么都没留下…
展开
-
深度学习论文笔记（增量学习）——CVPR2020：Mnemonics Training: Multi-Class Incremental Learning without Forgetting
文章目录前言工作流程前言目前也写了较多增量学习的文章了，我的目的是在写的过程中对方法的细节进行梳理，帮助自己理解，其中难免有表述不当的地方，请各位辩证看到我文章中的观点与描述，如有错误，还望指出。本篇文章发表于2020年CVPR，论文代码地址作者从一个非常有趣的点出发，从而让模型抵抗灾难性遗忘。现有的增量学习算法多数都会存储部分旧图片，作者将旧图片作为优化参数，通过优化让旧图片尽可能反映旧类别的特性，从而让模型尽可能较少的遗忘。作者通过让保存的旧图片计算出的loss值与使用全部训练图片计算出的los原创 2020-08-01 15:42:25 · 3741 阅读 · 1 评论 -
深度学习（增量学习）——CVPR2020：Semantic Drift Compensation for Class-Incremental Learning
文章目录前言Embedding Network前言之前投的顶会论文中了，匆忙返校，与朋友们挥别，大学四年，给自己画上了一个完美的句号。《Semantic Drift Compensation for Class-Incremental Learning》发表于CVPR2020，该算法针对于class incremental learning设计，与以往使用交叉熵作为损失函数的增量学习算法不同，该文章选用Triple loss作为损失函数，利用LwF、EWC、MAS等文章提出的正则项抵抗遗忘（命名为Em原创 2020-07-09 20:58:41 · 3970 阅读 · 0 评论 -
深度学习（增量学习）—— Continual Learning by Asymmetric Loss Approximation with Single-Side Overestimation
文章目录前言motivationmethod前言我将看过的增量学习论文建了一个github库，方便各位阅读地址，本文总结的论文位于Regularization文件夹本文总结2019年ICCV论文《Continual Learning by Asymmetric Loss Approximation with Single-Side Overestimation》，这篇文献的出发点非常有趣，其...原创 2020-05-05 09:45:22 · 1457 阅读 · 0 评论 -
深度学习（增量学习）——GAN在增量学习中的应用（文献综述）
文章目录前言Memory replayMemory replay的缺陷RegularizationRegularization 方式一：EWC RegularizationRegularization 方式二：L2、L1距离Regularization存在的问题参考文献前言持续学习的目的是解决灾难性遗忘，当前持续学习（lifelong learning）的研究主要集中在图像分类这一基础任务上。...原创 2020-04-11 16:10:33 · 4483 阅读 · 4 评论 -
深度学习论文笔记(增量学习)——Overcoming catastrophic forgetting in neural networks
文章目录主要工作motivationmethod什么是拉普拉斯近似什么是Fisher information越来越懒，看的文献越来越多，做的总结越来越少，大概要写十几篇总结，寒假不知道写得完不…主要工作该文章由deepmind在2016年出品，其将抵抗灾难性遗忘的工作分为三步1、选择对于旧任务而言，较为重要的权重2、在第一步的基础上，对权重的重要性做一个排序3、在学习新任务时，尽量使步...原创 2020-01-18 21:13:35 · 8740 阅读 · 17 评论 -
深度学习论文笔记（增量学习）——fearnet: brain-inspired model for incremental learning
文章目录主要工作motivationmethodmPFC networkHC networkBLAConsolidationTraining/Recall整体算法主要工作提出一种无需examplar的增量模型——FearNetmotivation对于人类大脑而言，近期记忆存储在海马复合体中，而长期记忆存储在内侧前额叶皮层，在睡眠阶段，近期记忆会整合转变为长期记忆中，从海马复合体中转移至内...原创 2019-11-26 16:15:10 · 2945 阅读 · 0 评论 -
深度学习论文笔记（增量学习）——Learning without Memorizing
文章目录main workmotivationmethod实验main work提出了Attention distillation loss，与knowledge distillation loss混合使用训练神经网络，在不需examplar的前提下达到较好的准确率。motivationCNN准确定位到与类别相关的区域后，提取的特征才更具有区分性，常见的distiilation los...原创 2019-11-25 09:14:20 · 3672 阅读 · 7 评论 -
深度学习论文笔记（增量学习）——Large Scale Incremental Learning
文章目录主要工作预实验：证明分类器出现了分类偏好算法介绍总体流程步骤一：训练CNN模型loss函数介绍阶段二：训练偏置纠正层主要工作在大型数据集上，现有的增量学习方法的准确率都不高，归结于两个原因在大型数据集上利用examplarexamplarexamplar进行增量学习，类别不平衡的问题会随着增量学习次数的增加而变得愈加严重。大型数据集上存在许多相似的类别，类别不平衡下很难区分相似类...原创 2019-11-03 09:43:16 · 9945 阅读 · 8 评论 -
深度学习论文笔记（增量学习）——End-to-End Incremental Learning
文章目录主要工作算法介绍总体流程步骤一：构建训练数据步骤二：模型训练loss函数介绍步骤三：finetuning步骤四：管理examplarexamplarexamplar实验Fixed memory sizeFixed number of samplesAblation studies个人理解主要工作论文提出了一种算法，以解决增量学习中的灾难性遗忘问题，与iCaRL将特征提取器的学习与分类器...原创 2019-11-02 16:36:17 · 6133 阅读 · 3 评论 -
深度学习论文笔记（增量学习）——Learning a Unified Classifier Incrementally via Rebalancing
文章目录主要工作算法介绍符号约定Cosine NormalizationLess-Forget ConstraintInter-Class Separation损失函数实验Ablation Study个人理解主要工作类别不平衡导致增量学习出现灾难性遗忘，本论文设计了一种loss函数，以抵抗类别不平衡造成的负面影响。本论文提出的算法需要examplarexamplarexamplar算法介...原创 2019-11-02 09:35:15 · 5017 阅读 · 12 评论 -
深度学习论文笔记（增量学习）——Incremental Classifier and Representation Learning
文章目录什么是增量学习增量学习存在的问题灾难性遗忘（catastrophic forgetting）克服灾难性遗忘的策略策略一策略二论文主要工作网络架构细节算法细节名词解释总体流程实验个人理解什么是增量学习增量学习是指一个学习系统能不断地从新样本中学习新的知识，并能保存大部分以前已经学习到的知识，就和人类学习知识一样，学习完新知识后，我们仍然记得旧知识增量学习存在的问题灾难性遗忘（ca...原创 2019-10-26 19:00:08 · 11276 阅读 · 20 评论