论文阅读《Few-Shot Object Detection and Viewpoint Estimation for Objects in the Wild》

Background ＆ Motivation

Viewpoint Estimation，视点估计。用点云数据在 3D 场景理解/重建、增强现实以及机器人领域中，主要关注 Object Detection。

不论是目标检测还是视点估计，小样本的方法是非常有应用前景但是 under-explored。传统的方法都需要大量的带标注数据，在 Novel 类上泛化能力很差。

本文的方法基于 Faster Rcnn，将 query 和 support 的 RoI 输入一个特征聚合模块，之后再输入到分类头中。

Approach

Network Architecture

基于 Faster Rcnn，support（下面的分支称为 support）中包含 mask 标注。Fqry 和 Fcls 为 Backbone、RPN 和 RoI Align/Pooling，除了第一层之外共享权重。A 是一个 feature aggregation module，将 Fqry 和 Fcls 的特征聚合起来。最后送入 P 做分类和目标框的回归：

The final predictions are obtained by concatenating all the class-wise network outputs.

文中提出的 feature aggregation module 是：

乘法是 channel-wise multiplication。

By jointly training the query encoder Fqry and the class encoder Fcls with this reweighting module, it is possible to learn to generate meaningful reweighting vectors fcls.

文章又提出，两张特征图的简单相减同样是一个高效的方法来计算相似度。因此 feature aggregation module 变为：

将这些特征计算在通道域上 concatenate 起来，最后一项与 fcls 无关，因为 fqry 即使不经过任何权重调整其本身也包含了很多相关信息。后面的实验证明单独加上 fqry 不仅提高了检测精度，而且降低了 support 随机采样的影响。这里有一个消融实验：

Loss Function

训练用的 query 和 support 都是同一类物体，我自己的理解。训练包括两个阶段，第一阶段用 Base 类数据，第二阶段用 Base 和 Novel 类的数据微调，batchsize 为4。损失函数也十分简单，与 Meta-Rcnn 中的一样：

Lrpn is applied to the output of the RPN to distinguish foreground from background and refine the proposals,
Lcls is a cross-entropy loss for box classifier,
Lloc is a smoothed-L1 loss for box regression, and
Lmeta is a cross-entropy loss encouraging class features to be diverse for different classes.

Experiment

VOC 数据集上的结果：

COCO 数据集上的结果：

COCO 数据集上的数据表明，该方法对检测小物体的效果不好。10-shot 12.5%的精度已经超过了很多后来的方法。

Conclusion

这篇文章的想法很简单，只通过简单的特征计算来聚合特征，对小目标的检测精度不高。感觉文章在目标检测的创新点在于特征图的简单相减以及将 query 特征图直接作为特征聚合的一个维度。这为 support 和 novel 的特征聚合提供了新的思路。

而更重要的是 Viewpoint Estimation 方向的贡献，涉及到点云，这也是实验室的一个新方向，有时间再回头看。