【Novel Category Discovery】A Unified Objective for Novel Class Discovery in ICCV 2021 个人理解

一、简介

题目： A Unified Objective for Novel Class Discovery
会议： ICCV 2021
任务： 给定一个数据集，其中部分样本有标签（可认为它们属于已知类），其余样本无标签（可认为它们属于新类/未知类，未知类与已知类不重叠），要求模型保留对已知类的分类能力同时对无标签样本进行聚类，或称新类发现（Novel Category Discovery，NCD）。
Note: Open World Semi-Supervised Learning、Generalized Category Discovery、Parametric Classification for Generalized Category Discovery对NCD进行了扩展，他们允许无标签样本中包含属于已知类的数据。此外，该方法假设新类数量已知，这通常是不现实的，AutoNovel: Automatically Discovering and Learning Novel Visual Categories和Generalized Category Discovery都提出了解决方案。
方法：
（1）建立包含编码器（ResNet18）、有标签分类头（原型线性层）、无标签分类头（映射头MLP+线性层）的网络，将有标签分类头和无标签分类头的logits（未经SoftMax的输出）拼接（concat）起来，再经SoftMax层后由标准交叉熵优化；
（2）对一个图像随机增强出两个视图，有标签时两个视图与原图像标签相同，无标签时，通过Sinkhorn-Knopp algorithm求解伪标签，再将所得两个视图生成的伪标签互换来保证预测一致性；
（3）设置更多的无标签分类头和更大的无标签分类头输出单元以提升聚类精度。

如图，该方法（UNO）使用了一个统一的目标函数（标准交叉熵）。

二、详情

1. 网络搭建

如图，有标签数据$D^l$和无标签数据$D^u$都会通过两次随机增强得到两个视图。之后输入网络，网络包含编码器（ResNet18）、有标签分类头（原型线性层）、无标签分类头（MLP+线性层），编码器和头都是共享的。

然后，连接有标签头（$h$）和无标签头（$g$）的logits输出，经SoftMax层得到后验概率，有了该概率即可与真实标签或伪标签一起通过交叉熵训练网络。标签需由zero-pad进行扩充才能在尺寸上与概率匹配，公式如下：
$$y=\{\begin{array}{r}[y^l,0_{C^u}],x\in D^l\\ [0_{C^l},\hat{y}],x\in D^u\end{array}$$其中，$y^l$和$\hat{y}$为有标签数据的标签和无标签数据的伪标签，