论文阅读《Few-shot Object Detection via Feature Reweighting》

Few-shot Object Detection via Feature Reweighting

提出了一种检测新颖类别的小样本模型，该新颖类别仅包含少数数据。充分利用基类（base classes）中有标签数据，使用一个特征提取模块和一个 reweighting 模块在一个一阶段检测网络中，来快速适应以达到实现新颖类别检测的目的。

元特征提取模块利用大量有标签数据提取那些具有通用性的，可以用来辅助检测新类别的元特征。从具有足够样本的基类中提取元特征来检测新的对象类。

reweighting 模块将新颖类别中的少量 support set 转换成一个全局向量，这个全局向量是元特征中对检测这些新颖类别物体非常重要或者十分相关的特征，实现将元特征的知识迁移到新类别。利用这个模块，可以激发一些用于检测新颖目标的元特征，从而辅助检测。

具体来说，给定一张 query image 和一些同类别的 support image，用训练好的特征提取模块提取 query 的元特征。reweighting 模块学习 support 中每个物体类别的全局特征，得到每个类别的 reweighting vector。再用这些 vector 通过调整对应的系数来调整 query 的元特征的分布，这样 query 的元特征融合了 support 里的信息，更加适合用来实现新颖类别的检测，这么多的 reweighting vector 使得 query image 里的那些对识别新物体重要并且贡献大的元特征被更好地利用起来。也可以理解为 reweighting vector 对不同的类别产生不同的激活系数，来调整 query 通过特征提取模块得到的元特征。

本文提出的模型是端到端的训练模型，该模型分为两个阶段进行训练。第一个阶段先学习特征提取模块提取元特征的能力和 reweighting 模块，第二阶段再用新颖类别的数据对检测模型（？）进行微调。精心设计了一个损失函数来解决无关类别的问题。

具体实现

问题定义

训练时有两类数据，基类和新颖类（novel classes），基类中包含大量有标签数据，而新颖类则很少。