增量学习-01-Learning a Unified Classifier Incrementally via Rebalancing (CVPR2019)

zhuhaow

已于 2022-08-01 21:24:41 修改

阅读量2.6k

点赞数 2

分类专栏：增量学习文章标签：深度学习增量学习

于 2021-10-11 20:47:41 首次发布

本文链接：https://blog.youkuaiyun.com/qq_40600539/article/details/118418033

版权

增量学习专栏收录该内容

3 篇文章

订阅专栏

LUCIR是CVPR2019提出的一种增量学习方法，旨在处理新旧任务间的不平衡、偏差和模糊问题。通过余弦归一化、减少遗忘约束和类别间分离损失，改善模型在增量学习中的性能。实验表明，这些策略能有效提升模型对旧任务的保留能力和新旧任务的区分度。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Learning a Unified Classifier Incrementally via Rebalancing (LUCIR)

CVPR 2019 [Paper] [code]

Overview

本文定义了增量学习任务中存在的三个问题：

Imbalanced Magnitudes；
Deviation；
Ambiguities；

并提出了对应的解决方法：

Cosine Normalization；
Less-Forget Constraint；
Inter-Class Separation。

Notions:

分类器权重 = class embedding = classifier weights = ϴ

Introduction

由于增量学习过程中只能看见少量的旧样本，这会导致分类器对于新样本产生较大的偏好。会造成以下三个问题：

Imbalanced magnitudes: 新类别的Linear classifier weights 幅值会高于旧类别;
Deviation: 原有旧类别的知识没有能够很好地得到保留，例如，旧类别样本feature与分类器weights vector之间的；
Ambiguities：新类别的weight vectors和旧类别的weight vectors会很接近，没有区分度造成新旧任务间的混淆，主要是旧类别误分为新类别。

Our Approach

总的来说，该方法提出三个损失函数去约束Distillation-based的方法中存在的因新旧样本不均衡而导致的偏见问题。

A. Cosine Normalization (CN)

Cosine Normalization的做法如下：

模型分类器的权重weights进行二范数归一化
输入分类器的feature进行二范数归一化。

这样原有的公式3中的分类器weights和特征f(x)相乘的操作，就会变成公式4所示，由于此时weights和feature都是归一化后的，两者之间相乘其实是在计算余弦相似度，那最后的分类结果就是在计算各个类别的相似度。

B. Less-Forget Constraint (LC)

调整完新旧任务分类器的权重后，要开始考虑如何维持旧任务的知识，即通过公式２所示的蒸馏损失。如公式2所示，原有的iCarL (baseline)中的蒸馏loss是针对模型输出进行蒸馏的，但是呢，由于cosine normalization后，模型输出的是余弦相似性，就可能会发生图4中的情况。即如果class embedding和features整体发生偏移，可能会出现class embedding和features之间的余弦距离没有发生变化，但整体已经发生明显偏移的情况。因此，提出了约束旧样本在新旧模型中输出特征之间余弦距离的方式，让新旧模型输出的特征尽可能相近，如公式６所示。