FALCON：打破界限，粗粒度标签的无监督细粒度类别推断，已开源| ICML‘24

在许多实际应用中，相对于反映类别之间微妙差异的细粒度标签，我们更容易获取粗粒度标签。然而，现有方法无法利用粗标签以无监督的方式推断细粒度标签。为了填补这个空白，论文提出了FALCON，一种从粗粒度标记数据中无需细粒度级别的监督就能发现细粒度类别的方法。FALCON同时推断未知的细粒度类别和粗粒度类别之间的潜在关系。此外，FALCON是一种模块化方法，可以有效地从多个具有不同策略的数据集中学习。我们在八个图像分类任务和一个单细胞分类任务上评估了FALCON。FALCON在tieredImageNet数据集上超过最佳基线22％，实现了600多个细粒度类别。

来源：晓飞的算法工程笔记 公众号，转载请注明出处

论文: Fine-grained Classes and How to Find Them

• 论文地址：https://arxiv.org/abs/2406.11070
• 代码地址：https://github.com/mlbio-epfl/falcon

Introduction

---

  机器学习在具有大量精确标记数据的领域表现出色。虽然粗粒度标签通常是丰富且易于获得的，但由于类别之间微妙的差异和少量具有区分性的特征，精细标签的精确注释却具有挑战性。因此，在许多领域，获取这种精细标签需要领域专业知识和繁琐的人工努力。例如，B细胞和T细胞可以很容易区分，但区分CD4+T细胞和CD8+T细胞等非常细粒度的细胞亚型则需要识别极少量的特定标记。为了自动化获得精细标签的繁琐工作，需要能够区分细粒度标签中微妙差异的机器学习方法。

  先前的研究表明，粗粒度标签可用于更有效地学习细粒度类别。弱监督分类方法使用粗粒度标签作为一种弱监督形式，以提高细粒度分类性能。最近，出现了少样本学习方法。它们在一组粗粒度类别上进行训练，然后通过每个类别仅有的几个标记样本进行细粒度分类的适配。然而，所有这些方法都需要预设一组细粒度类别以及获取它们的一小部分样本。

  在这项工作中，论文提出了一种名为FALCON（Fine grAined Labels from COarse supervisioN）的方法，它可以在一个粗标记的数据集中发现细粒度类别，并且无需任何监督。FALCON的关键发现是，细粒度预测可以通过结合粗粒度和细粒度类别之间的关系来恢复粗粒度预测。基于这个发现，FALCON开发了一个专门的优化过程，交替进行推断粗粒度和细粒度类别之间的未知关系和训练细粒度分类器。粗粒度和细粒度类别之间的关系是通过解决一个离散优化问题来推断的，而细粒度分类器则使用粗粒度监督和细粒度的伪标签进行训练。此外，FALCON可以无缝地适应和利用具有多个数据集的不兼容粗粒度类别，并以相同的细粒度级别重新标记。

  将FALCON与其他备选基准方法在八个图像分类数据集以及生物领域的单细胞数据集上进行了比较。实验结果显示，FALCON在没有监督的情况下有效地发现了细粒度类别，并且在图像和单细胞数据上始终优于基线方法。例如，在包含608个细粒度类别的tieredImageNet数据集上，FALCON的性能比基准方法提高了22%。此外，当使用具有不同粗粒度类别的多个数据集进行训练时，FALCON能够有效地重用不同的注释策略来改进其性能。

Fine-grained Class Discovery

---

Problem setup

  设 $\mathcal{X}$ 为样本空间， ${\mathcal{Y}}_C$ 为包含 $K_C$ 个粗粒度类别的集合。假设给定了一个粗粒度标记的数据集 $\mathcal{D}=\{({\mathbf{x}}^i,y_c^i){\}}_{i=1}^N$ ，其中 ${\mathbf{x}}^i\in \mathcal{X}$ ， $y_c^i\in {\mathcal{Y}}_C$ 。另外，每个样本 $\mathbf{x}\in \mathcal{D}$ 都与一个细粒度类别 $y_{\text{f}}$ 相关联，而这些细粒度类别来自于一个未知的细粒度类别集合 ${\mathcal{Y}}_F$ 。假设每个细粒度类别 $y_{\text{f}}\in {\mathcal{Y}}_F$ 都与单个粗粒度类别 $y_c\in {\mathcal{Y}}_C$ 相关联，即具有唯一的粗粒度父类。细粒度类别的数量 $K_F=|{\mathcal{Y}}_F|$ 大于 $K_C$ ，并且这个值可以在先前得知或进行估计。给定一个粗粒度标记的数据集 $\mathcal{D}$ ，目标是发现一组细粒度类别 ${\mathcal{Y}}_F$ 。因此，希望仅通过粗粒度标记数据集的监督来恢复细粒度标签 ${\tau }_F:\mathcal{X}\to {\mathcal{Y}}_F$ 。

Parameterizing the Fine-grained Class Discovery

  在FALCON中的一个关键发现是，对细粒度预测和类别关系的组合会产生粗粒度预测。因此，可以利用类别关系将细粒度预测和粗粒度标签联系起来。

  使用一个概率分类器 $f_{\theta }:\mathcal{X}\to {\Delta }^{K_F-1}$ 对细粒度标签 ${\tau }_F$ 进行建模，将输入映射到( $K_F-1$ )维的 ${\Delta }^{K_F-1}$ 概率单纯形（每个点代表有限个互斥事件之间的概率分布，每个事件通常被称为一个类别） 。然后，对分类器的细粒度预测 ${\mathbf{p}}_{\text{f}}$ 取argmax，可以得到样本的细粒度类别 ${\mathcal{Y}}_F$ 。

$$\begin{array}{c}{\tau }_F(\mathbf{x})={\text{argmax}}_i{\mathbf{p}}_{\text{f}}^i,\text{where}{\mathbf{p}}_{\text{f}}=f_{\theta }\end{array}$$