【论文阅读】Semi-Supervised Few-shot Learning via Multi-Factor Clustering

通过多因素聚类的半监督小样本学习
引用：Ling J, Liao L, Yang M, et al. Semi-supervised few-shot learning via multi-factor clustering[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022: 14564-14573.
论文地址：下载地址
论文代码：https://gitlab.com/smartllvlab/cluster-fsl

Abstract

  标记数据的稀缺性和模型过拟合问题一直是小样本学习中的挑战。最近，半监督小样本学习被提出，以获取未标记样本的伪标签来扩展支持集。然而，在生成伪标签的过程中，未标记数据与标记数据之间的关系并未得到充分利用，这些伪标签中的噪声会直接损害模型的学习效果。为了解决图像分类中的上述问题，本文提出了一种基于聚类的半监督小样本学习方法（cluster-FSL）。通过使用多因素协同表示，我们设计了一种新颖的多因素聚类（MFC）方法，用于融合小样本数据分布的信息，可以基于标记数据为未标记样本生成软和硬伪标签。我们利用 MFC 为未标记样本生成的伪标签来扩展支持集，以获取更多的分布信息。此外，在微调阶段对支持集进行鲁棒的数据增强，以增加标记样本的多样性。我们通过在三个流行的基准数据集 miniImageNet、tieredImageNet 和 CUB-200-2011 上与其他小样本学习方法进行比较，验证了 cluster-FSL 的有效性。消融实验进一步表明，我们的 MFC 可以有效融合标记样本的分布信息，并提供高质量的伪标签。我们的代码可在以下链接获取：https://gitlab.com/smartllvlab/cluster-fsl

1. Introduction

  基于神经网络的深度学习方法¹在计算机视觉领域取得了巨大突破并得到了广泛应用²³⁴。然而，深度学习模型需要大量的标记数据来学习大规模的参数。此外，现实生活中的场景复杂多样。例如，在一些实际问题中，存在一些很少被观测到的对象，如嫌疑人的面部、稀有动物的照片等，这使得标记数据的收集变得困难。受人类视觉系统的启发，小样本学习⁵⁶⁷⁸的发展受到广泛关注，它在一定程度上缓解了深度模型对训练数据的强烈需求。

  小样本学习的目标是基于经验，从极少量的样本中学习新的概念或行为。由于小样本学习的特殊性，如何缓解由于样本稀缺而导致的模型难以拟合类别分布的过拟合问题，一直是小样本学习的重点和难点。随着小样本学习的发展，已有从模型、数据和学习算法三个方面来解决上述问题的方法。基于模型的方法⁹¹⁰旨在通过设计适应小样本情况的模型来学习样本之间的交互信息。在数据方面，研究人员探索了各种丰富训练数据的方法，如数据增强⁹¹¹¹²，通过翻转、裁剪、平移、旋转和缩放对数据进行预处理。然而，数据增强需要昂贵的人工成本，并且严重依赖领域知识，导致某些数据增强方法对特定数据集具有局限性。基于学习方法的小样本图像分类¹³¹⁴⁶旨在通过元学习或迁移学习策略，利用不同子任务中共享的元知识或可迁移知识来提高模型的泛化能力。然而，由于小样本标记数据无法为近期模型学习提供丰富且关键的信息，小样本学习的性能仍然不尽如人意。

  当任务包含少量标记样本以及针对新类别的额外未标记数据时，一种直接的方法是利用未标记样本来缓解标记样本的稀缺性。半监督学习方法已经有效地探索了未标记数据，包括弱数据增强与强数据增强的结合¹⁵、一致性正则化¹⁶、对抗扰动正则化¹⁷等，在不使用大量标注样本的情况下实现了非常令人兴奋的性能表现。如果将半监督学习与小样本学习相结合（例如，挖掘未标记样本的伪标签），那么数据稀缺等问题在一定程度上是可以解决的。最近的一些结合半监督学习的小样本图像分类研究¹⁸¹⁹⁶主要关注于提高未标记样本伪标签预测的准确性，并期望获得更多正确的伪标签以扩展训练集。然而，现有方法难以获得完全正确的伪标签，如何避免错误伪标签对模型训练的影响以及如何利用样本分布信息来辅助伪标签的获取仍然是当前的挑战。

  为了解决上述问题，本文提出了一种基于聚类的半监督小样本学习（cluster-FSL）方法用于图像分类。通过引入标记样本作为聚类的因素，并利用多因素字典表示未标记数据，我们提出了多因素聚类（MFC）来指导未标记样本伪标签的获取，该方法结合了标记和未标记样本的分布信息以辅助聚类，从而获得更准确的伪标签。在微调阶段，我们设计了鲁棒的数据增强来增强支持集，并采用 MFC 模块来预测查询样本的软标签，从而学习更具判别性的特征分布。在测试阶段，我们使用 MFC 替代标签传播来为未标记样本分配更准确的伪标签，以扩展测试支持集。实验结果表明，cluster-FSL 在 miniImageNet、tiered-ImageNet 和 CUB-200-2011 上取得了最先进的性能（例如，当骨干网络为 ResNet-12 时，在 miniImageNet 的 5-way 1-shot 场景中提升了 2.45%）。

  我们的主要贡献可总结如下：1. 我们提出了一种新颖的多因素聚类（MFC）算法，它包含了标记和未标记样本的因素，并通过多因素字典利用这些因素之间的分布信息，从而生成更准确的聚类结果。2. 我们将所提出的 MFC 以一种新颖的方式集成到微调阶段和测试阶段，有效地输出高质量的伪标签来扩展查询和测试支持集。

2. Related Works

2.1 基于学习的小样本图像分类

  基于学习的小样本图像分类算法旨在设计一种适用于小样本场景的训练和更新模式。迁移学习和元学习方法最近被成功应用于小样本分类。

  基于迁移学习的方法在大量来自基础类别的数据上对模型进行预训练，并将预训练模型适应于识别新类别的小样本学习任务。Kozerawski 等人¹⁴学习了一种将预训练模型提取的嵌入特征映射到分类决策边界的迁移函数。在文献¹³中，Yoo 等人识别了深度网络中每一层具有相似激活模式的神经元组，然后通过逐组反向传播使用训练集进行微调。基于迁移学习的方法可以训练出具有强大表示能力的特征提取器。为了充分利用这些方法，我们借助所提出的 MFC 微调预训练模型以提高我们方法的性能。

  基于元学习的方法，也称为“学习如何学习”，旨在学习一种范式，可以通过使用小样本训练样本来识别新类别²⁰。研究人员从以下几个方面改进了基于元学习的方法：嵌入模块和共享距离度量方法²¹²²¹⁰，模型参数的初始分布²³²⁴，以及模型参数的更新策略和规则²⁵²⁶。作为一种经典且常用的解决小样本分类任务的有效方法，尽管这些方法取得了快速发展，但样本稀缺的问题仍然是一个挑战。

  最近，Rodríguez 等人²⁷提出使用嵌入传播（Embedding Propagation, EP）作为流形平滑的无监督非参数正则化方法，并将 EP 应用于一种传导式分类器。然而，该方法在标记样本的扩展方面存在局限性，阻碍了性能的进一步提升。为了解决 EPNet²⁸ 的问题，我们使用所提出的 MFC 模块来获取未标记样本的伪标签，这可以有效地缓解标记样本的稀缺问题。

2.2 基于伪标签获取的半监督小样本方法

  将小样本图像分类方法与半监督学习相结合，通过获取未标记数据的伪标签来扩展标记数据，并缓解样本稀缺的问题。例如，在文献¹⁸中，通过在未标记样本的分布中引入类原型来预测伪标签；在文献¹⁹中，使用标签传播来获取伪标签；在文献²⁰中，使用预训练的分类器来预测伪标签；在文献²⁹中，利用标记和未标记数据分布的流形结构来预测伪标签。在获得伪标签后，这些方法直接将其作为标记样本用于模型的微调和训练。然而，这些方法忽略了错误的伪标签对模型训练的影响。

  为了减少错误伪标签的影响，Wu 等人³⁰设定了优先级来选择具有信息性的未标记样本，以用于随后的训练过程；而 Sun 等人³¹提出在每轮优化中限制选择的未标记样本数量，并优先选择高置信度的伪标记样本。Huang 等人³²提出了一种伪损失置信度度量（Pseudo-Loss Confidence Metric，PLCM），该方法将不同任务的伪标记数据映射到统一的度量空间，并根据其伪损失的分布成分置信度来估计伪标记的置信度。然而，利用训练好的分类器逐个独立预测未标记样本的方法忽略了数据分布层面的信息。未标记样本的类内和类间关系以及未标记样本与标记样本的分布信息对伪标签获取的影响没有被考虑。

  最近，Huang 等人提出了一种基于迁移学习的半监督小样本方法——泊松传递网络（Poisson Transfer Network, PTN）³³。PTN 模型改进了基于图的小样本学习中挖掘标记和未标记数据之间关系的能力，我们的 cluster-FSL 同样致力于增强这种能力。然而，我们提出的 MFC 利用多个因素来构建特征字典，从而使整体聚类有效地加强标记和未标记数据之间的关系，使聚类更加简洁和可解释。Wang 等人³⁴提出模型根据实例可信度推理（Instance Credibility Inference, ICI）来测量的可信度迭代选择伪标签实例以进行分类器训练。然而，如果不直接提高伪标签的质量，那么错误伪标签对模型的影响无法减少。此外，ICI 通过增加附带参数的稀疏性来解决线性回归假设，并根据稀疏度对伪标签实例进行排序，而我们的 MFC 通过融合标记数据的分布来构建字典，并在聚类时使用重构误差来计算距离。

3. 基于聚类的半监督小样本学习

  获取高置信度的未标记样本伪标签是半监督小样本学习模型需要解决的一个主要挑战。为有效解决上述挑战，我们提出了一种新颖的基于聚类的半监督小样本学习模型（cluster-FSL），该模型通过多因素聚类来获取未标记数据的高质量伪标签。此外，我们提出的 cluster-FSL 利用鲁棒的数据增强和 MFC 模块来学习更具判别性的特征，以提高性能。在这里，我们首先介绍多因素聚类，然后详细介绍 cluster-FSL 的三个阶段（例如，预训练、微调和测试）。

3.1. Problem Definition

  在小样本分类任务中，数据集被划分为训练集、验证集和测试集，即 D = { D train , D val , D test } D = \{D_{\text{train}}, D_{\text{val}}, D_{\text{test}}\} D={ Dtrain​,Dval​,Dtest​}。其中 D train = { X train , Y train } D_{\text{train}} = \{X_{\text{train}}, Y_{\text{train}}\} Dtrain​={ Xtrain​,Ytrain​} 包含所有训练数据及其对应的标签， D test = { X test , Y test } D_{\text{test}} = \{X_{\text{test}}, Y_{\text{test}}\} Dtest​={ Xtest​,Ytest​} 包含所有测试数据及其对应的标签。训练集和测试集中的所有类别分别用 $C_{\text{train}}$ 和 $C_{\text{test}}$ 表示，且 $C_{\text{train}}\cap C_{\text{test}}=\varnothing$。验证集中的类别与 $C_{\text{train}}$ 和 $C_{\text{test}}$ 均不重叠。
  参考情景学习，我们构建了 $n$ 个独立的小样本任务以形成序列集合 Γ = { T train i , T test i } i = 1 n \Gamma = \{T_{\text{train}}^i, T_{\text{test}}^i\}_{i=1}^n Γ={ Ttraini​,Ttesti​}i=1n​。对于每个训练任务 $T_{\text{train}}^i$，我们从训练集中随机选择 $N$ 个类别，并从每个类别中随机选择 $K$ 个样本来组成训练支持集 S train = { x s i , y s i } i = 1 N × K S_{\text{train}} = \{x_{\text{s}}^i, y_{\text{s}}^i\}_{i=1}^{N \times K} Strain​={ xsi​,ysi​}i=1N×K​，其中 $x_{\text{s}}^i\in X_{\text{train}}$，$y_{\text{s}}^i\in Y_{\text{train}}$。从相同的 $N$ 个类别中，我们选择 $q$ 个不重复的样本来组成训练查询集 Q train = { x q i , y q i } i = 1 N × q Q_{\text{train}} = \{x_{\text{q}}^i, y_{\text{q}}^i\}_{i=1}^{N \times q} Qtrain​={ xqi​,yqi​}i=1N×q​，其中 $x_{\text{q}}^i\in X_{\text{train}}$，$y_{\text{q}}^i\in Y_{\text{train}}$。验证集 $D_{\text{val}}$ 用于确定最佳模型，在验证集上取得最高准确率的模型将被选中。
  对于每个测试任务 $T_{\text{test}}^i$，模型也从测试集中随机选择 $N$ 个类别，并从每个类别中随机选择 $K$ 个样本来组成测试支持集 S test = { x s j , y s j } j = 1 N × K S_{\text{test}} = \{x_{\text{s}}^j, y_{\text{s}}^j\}_{j=1}^{N \times K} Stest​={ xsj​,ysj​}j=1<