论文阅读《Few-Shot Object Detection with Attention-RPN and Multi-Relation Detector》

最新推荐文章于 2025-09-28 16:38:29 发布

原创

最新推荐文章于 2025-09-28 16:38:29 发布 · 1.7k 阅读

10 ·

CC 4.0 BY-SA版权

Attention-RPN 和 Multi-Relation Detector

提出了一种包含带注意力机制的 RPN、Multi-Relation Detector 和对比训练策略通过度量 support 和 query 相似性来解决小样本问题的方法，同时很好地抑制了背景。训练完成的网络可以直接泛化到新类别上，而不需要在新类别上进行微调。具体来说，该方法利用权重共享网络，探索对象对（object pair）在 Multi-Relation Detector 的匹配关系，实验证明带注意力机制的 RPN 可以提高 proposal 的质量，而 multi-relation detector module 可以很好的过滤掉负样本和背景。该模型在 MS COCO 和 ImageNet 的小样本任务上达到了 SOTA。

真实世界的物体照片中的光照、形状和纹理等的巨大变化，是小样本学习的一个挑战。传统方法中（如 Faster Rcnn）常常检测不出新颖类别，文章认为是 RPN 中对新类别正样本 bounding box 的不合适得分引起的对该新类别检测困难。

整理了一个小样本学习的数据集，包含1000个类别，每个类别的图片不多，训练集与验证集没有交集。后面实验证明了类别多的数据集（也即文章中提出的数据集）比类别少的大数据集（如 COCO）对模型泛化能力的提升更大，使用该数据集训练后的模型在其他数据集上的取得了更好的泛化效果，在不进行微调的情况下。

目前的小样本学习

目前的大多数工作都是在图像分类任务上，而目标检测、图像分割和行为预测任务上的解决方案很少。可大致分为：度量学习（Prototypical network，这篇文章的方法也是启发于度量学习和匹配网络），元学习（Siamese network），匹配网络（Matching network、Relation network），图神经网络（Graph Neural Network）和参数优化（MAML）。

目前的一些小样本目标检测方法：

《Few-example object detection with model communication》，对无标签数据交替优化多个模型。
《Lstd: A low-shot transfer detector for object detection》、《Few-shot object detection via feature reweighting》、《Repmet: Representative-based metric learning for classification and few-shot object detection》和《Meta r-cnn : Towards general solver for instance-level low-shot learning》，这四种方法学习了特定类别的度量并且对新类别需要进行微调。

A Highly-Diverse Few-Shot Object Detection Dataset

高多样性的数据集对小样本学习的效果的好坏与否至关重要，现有的数据集类别太少，不利于小样本问题。本文提出的数据集 FSOD 以现有的大型数据集为基础制作而成，如 ImageNet。也有些问题，一些具有相同语义的对象在不同的数据集中采用不同的标注，标注不准确，存在错误的框。最重要的是训练和测试集中的类别有交集，这使得不能很好的检验模型泛化性能。