FSCE: Few-Shot Object Detection via Contrastive Proposal Encoding个人理解

文章来源

Existing works on few-shot object detection can be categorized into two paradigms: transfer learning and meta-learning. Transfer-learning-based methods include LSTD (Chen et al. 2018), TFA (Wang et al. 2020), MPSR (Wu et al. 2020), and FSCE (Sun et al. 2021), where novel concepts are learned via fine-tuning.

meta-DETR文中的相关文章显示小样本学习分成迁移学习和元学习两个主流方向，FSCE是迁移学习方向的最近一篇代表作。

原文思路

1. 简介
CNN等搭建的深度学习特征检测器需要大量数据训练参数，而当这样的检测器遇到小样本问题就容易出现过拟合的问题。而小样本目标检测的问题要远比小样本图像分类的问题大很多。早期的FSOD使用元学习方法，通过support类和novel类的匹配完成少样本学习。两阶段微调方法（TFA）逐渐展示优势，baseline TFA都是冻结在base上训练好的参数，再在novel data上进行bbox大小、位置的微调，这样基本操作也能使得效果优于之前的meta方法。本文主要解决的是基于微调的方法的弱点——novel类别误分类问题。
很多人会觉得小样本目标检测的难点是定位（将novel类别识别成背景像素），但实际实验结果表明，常用的小样本识别框架 Faster R-CNN+RPN就能够将novel类别精确定位出来，而主要的错误是分类错误。我们基于PASCAL VOC数据集和Faster R-CNN特征提取器的结果进行成对样本的cosine相似度比较，相似的类别之间的cosine相似度值能达到0.39，对比目标和背