NeurIPS 2019 | 基于Co-Attention和Co-Excitation的少样本目标检测

论文提出CoAE少样本目标检测算法，该算法使用non-local block来提取目标图片与查询图片间的对应特征，使得RPN网络能够准确的获取对应类别对象的位置，另外使用类似SE block的squeeze and co-excitation模块来根据查询图片加强对应的特征纬度，最后结合margin based ranking loss达到了state-of-the-art，论文创新点满满，值得一读

论文:One-Shot Object Detection with Co-Attention and Co-Excitation

• 论文地址：https://arxiv.org/abs/1911.12529
• 代码地址：https://github.com/timy90022/One-Shot-Object-Detection

Introduction

---

  论文认为，人类能够在图片中找出模版对应的物体，是因为人类具备将像素分组，提取独特特征比对以及专注定位的能力。因此，论文希望提出一个具备人类视觉功能的网络来解决one-shot目标检测的问题，给予网络一张未见过的查询模版(query image)，然后在目标图片(taget image)中找出其位置。论文提出的one-shot目标检测算法的特征主要来自两种上下文信息：

• 目标图片能够提供空间上下文，对比其它前景物体和背景来找出特殊对象的位置
• 目标图片和查询图片能够提供类别上下文，而确切的类别层次则是由模版和目标对象的相同属性(颜色，纹理，形状等)决定的

  度量学习(Metric learning)是one-shot分类问题的关键，但不能直接简单地将学习到的度量方法应用到one-shot目标检测中，因为检测器需要先知道哪块区域最有可能包含目标才能进行比较。另外，目标追踪可以认为是少样本目标检测的一个特殊案例，区别在于，少样本目标检测的目标图片中不一定包含查询图片，并且允许图片之间存在明显的外观差异，只要他们有公共的特征进行归类即可。论文推出新的机制squeeze and co-excitation(CoAE)来同时强化新类别对象在查询图片和目标图片上的特征，实验证明，CoAE框架能更好地发掘空间和类别上下文信息，带来很好的性能提醒

Our method

---

  定义数据集的类别标签集合为$C$，进一步将其分为$C=C_0\cup C_1$，分别用于训练和测试。少样本目标检测的流程定义为，给予查询图片$p$，为$C_1$集合的一个类别对象，测试就是查找目标图片$I$所有对应的对象，假设每张可用的图片包含至少一个查询对象

  论文的主要架构如1，主要包含4个部分，分别是前面的基础特征提取，然后是Non-local feature的提取，用于提取共同特征，接着是论文提出的squeeze and co-excitation(CoAE)模块，用于强化目标channel，最后是metric模块，用于最好的分类

Non-local object proposals

  定义训练集为$D$，包含$C_0$类别的bbox，论文采用Faster R-CNN架构进行检测，这会带来一个基础问题，即RPN能否检测出未训练过的类别($C_1$)的bbox。由于$C_1$类别与 C 0 C_0 C