论文阅读《Accurate Few-shot Object Detection with Support-Query Mutual Guidance and Hybrid Loss》

Background ＆ Motivation

文中将 Few-shot 学习分为两类：metric-based 和 optimization-based，后者是元学习的方法。将 Few-shot 目标检测分为：finetuning-based 和 finetuning-free。

然而以上这些方法都存在几个问题：

• support 中的信息没有指导 query 中 bounding box 的产生，support 和 query 之间缺少交互，没有充分利用 support 内的信息。
• k-shot 任务中各个 support image 的权重相同并且使用了最简单的平均来聚合这些 image 的特征，这是很不合理的。

Method

为了解决上述问题，文章提出了 support-query mutual guidance 机制和 multi-level proposal scoring 模块。前者包括 support-guided proposal generation 模块和 query-guided support weighting 模块（后者在 1-shot 的情景下用不到，用在 few-shot 情景下），指导模型产生更加 support-relevant 的 proposal。后者结合 Hybrid loss 来计算 proposal 之间的距离度量并给出得分，对那些低质量的 proposal 进行过滤，输出的得分高的 proposal 即为最后检测结果。

Support-guided Proposal Generation（SPG）

模型 1-shot 的结构如上所示（这时只有一个 support object），该模块利用 support object 的信息通过 dynamic convolution 的方法增强 query。利用 support object 的 FPN 各层输出的 RoI 特征图（这些 RoI 特征图通过 Annotation 和 RoIAlign 在 FPN 各层输出的特征图上计算得到，这个计算操作称为 RA 操作）来产生具体的 support-specific 卷积核，RoI 为 a*a*C1，公式如下：

其中 i 代表是 FPN 的第 i 层，输出为 b*b*C1*C2，b 为卷积核大小，C1 是 RoI 的通道数，C2 是卷积核个数，kernel size 为 a-b+1。用产生的卷积核对 query 的特征图进行卷积操作：

其中 r 为 stride，输出为增强后的 query 特征图，FPN 各层都需要进行上述操作。SPG 的结构如下图所示：

图中每一个 conv subnet 都代表一个卷积核，一共有 C2 个。

The parameters η of Gη are shared across all levels.