基于语义增强的少样本检测，突破新类别偏见 | ICIP‘24

Few-shot目标检测（FSOD）旨在在有限标注实例的情况下检测新颖对象，在近年取得了显著进展。然而，现有方法仍然存在偏见表示问题，特别是在极低标注情况下的新颖类别。在微调过程中，一种新颖类别可能会利用来自相似基础类别的知识来构建自己的特征分布，导致分类混淆和性能下降。为了解决这些挑战，论文提出了一种基于微调的FSOD框架，利用语义嵌入来实现更好的检测。在提出的方法中，将视觉特征与类名嵌入对齐，并用语义相似性分类器替换线性分类器，训练每个区域提议收敛到相应的类别嵌入。此外，引入了多模态特征融合来增强视觉-语言通信，使新颖类别可以明确地从训练有素的相似基础类别中获得支持。为了避免类别混淆，提出了一种语义感知最大间隔损失，自适应地应用于超出相似类别的间隔。因此，论文的方法允许每个新颖类别构建一个紧凑的特征空间，而不会与相似基础类别混淆。

来源：晓飞的算法工程笔记 公众号，转载请注明出处

论文: Semantic Enhanced Few-shot Object Detection

• 论文地址：https://arxiv.org/abs/2406.13498

Introduction

---

  深度神经网络在目标检测方面最近取得了巨大进展。然而，深度检测器需要大量标注数据才能有效识别一个对象。相比之下，人类只需要少量样本就能识别一类对象。常规检测器在少样本情境下容易出现过拟合问题，缩小常规检测与少样本检测之间的性能差距已成为计算机视觉领域的一个关键研究领域。

  与少样本分类和常规目标检测相比，少样本目标检测（FSOD）是一项更具挑战性的任务。在给定具有足够数据量的基础类别和仅有少量带标签边界框的新颖类别的情况下，FSOD致力于学习基础类别上的基础知识，并在新颖类别上具有良好的泛化能力。早期的FSOD方法倾向于遵循元学习范式，学习与任务无关的知识，并快速适应新任务。然而，这些方法需要复杂的训练过程，并常常在实际环境中表现不佳。另一方面，基于微调的方法采用简单而有效的两阶段训练策略，并取得可比较的结果。

  近年来，许多研究集中在基于微调的FSOD上，旨在将从丰富基础数据中学到的知识转移到新颖类别。TFA揭示了在微调期间简单冻结最后几层的潜力，为基于微调的方法奠定了基础。DeFRCN通过缩放和截断梯度来解耦分类和回归，并实现了卓越的性能。尽管它们取得了成功，仍然存在两个潜在问题：

1. 先前基于微调的FSOD方法在训练样本极为有限时会出现性能下降，例如，当每个类别只有一个带标注的边界框时。只有一个对象无法很好地代表外观多样的类别是合理的，这种偏向性表示严重损害了新颖类别的性能。
2. FSOD的性能继续受到新颖类别和基础类别之间混淆的威胁。仅有少量带标注样本时，新颖类别几乎无法构建紧凑的特征空间。这可能造成新颖类可能散布在类似基础类别良好构建的特征空间中，导致分类混淆。

  论文提出一个基于微调的框架，利用语义嵌入来提高对新颖类别的泛化能力。该框架在微调阶段用语义相似分类器（SSC）取代线性分类器，通过计算类名嵌入和提议物体区域特征之间的余弦相似度产生分类结果。此外，论文提出了多模态特征融合（MFF）来对视觉和文本特征进行深层融合。论文还在原始交叉熵损失之上应用了语义感知最大间隔（SAM）损失，以区分与自身相似的新颖类别和基础类别，如图1所示。在微调过程中，SSC和MFF通过经典的Faster R-CNN损失和SAM损失以端到端的方式进行优化。

  论文的贡献可总结如下：

1. 提出一个利用语义信息来解决少样本性能下降和类别混淆问题的框架。

2. 为了解决这些问题，设计了三个新模块，即SSC、MFF和SAM损失。这些模块提供无偏表示，并增加类间分离。

3. 对PASCAL VOC和MS COCO数据集进行了大量实验，证明方法的有效性。结果表明，论文的方法将最先进性能大幅提升。

Method

---

FSOD Preliminaries

  论文遵循之前的工作中的Few-shot目标检测（FSOD）设置。将训练数据分为基础集合 ${\mathcal{D}}_b$ 和新颖集合 ${\mathcal{D}}_n$ ，其中基础类别 ${\mathcal{C}}_b$ 具有丰富的标记数据，而每个新颖类别 C n \mathcal{C}_n