【Few-Shot Incremental Learning】ALICE in ECCV 2022 个人理解

一、简介

题目： Few-Shot Class-Incremental Learning from an Open-Set Perspective
会议： ECCV 2022
任务： 数据/任务依次到来，新的数据/任务到来后旧的就不再可获取，并且新的数据相比旧数据可能是稀缺的（例如，旧的类别每类可能有100个样本，但新的类别每类可能只有5个样本），要求模型在学习新数据/任务的同时不要忘记旧数据/任务。
Idea：
（1）利用初始样本充足的训练数据训练一个强大的特征提取器： 首先，通过类增强策略（取自Mixup）创造大量新类；其次，通过数据增强策略（取自SimCLR）创造两个不同的增强样本；最后，通过Angular Penalty Loss（APL，取自cosFace）训练特征提取器。
（2）根据余弦相似度以最近类均值（Nearest Class Mean, NCM）规则进行分类： 以$k$-shot为例，首先，确定支撑集（Support Set），计算各类特征均值，取与特征均值的余弦相似度最大的$k$个特征作为原型组成支撑集；其次，确定类特征均值，根据支撑集计算各类特征均值；最后，计算查询特征与各类特征均值的余弦相似度，分类为相似度最大的类。
Note： 该工作是纯粹的少样本类增量学习（Few-Shot Class-Incremental Learning），不执行开放集识别（Open Set Recognition, OSR），但用到了OSR的数据增强策略，详情可参考Mixup in NeurIPS 2019。

如图，作者用类增强和数据增量以及APL训练特征提取器，然后根据最近类均值规则进行分类。

二、详情

1. 特征提取器

特征提取器的训练仅使用有充足样本的初始训练集，它所包含的类与后续出现的增量类无重叠。如上图所示，其结构包括Backbone（ResNet18）+ 映射层（两层全连接）+ 分类头（一层全连接）。当训练结束进行特征提取时，映射层和分类头会被移除，Backbone会被冻结。

1.1 类增强

原始Mixup通过合并两个随机图像及它们的标签实现增强，公式如下：
$$\begin{gathered} \tilde{x}=\lambda x_i+(1-\lambda )x_j \\ \tilde{y}=\lambda y_i+(1-\lambda )y_j \end{gathered}$$ 其中，$\tilde{x}$和 y ~ \tilde y