《QueryDet: Cascaded Sparse Query for Accelerating High-Resolution Small Object Detection》论文笔记

1. Motivation

2. Method

2.1 RetinaNet的网络架构：

RetinaNet = Resnet + FPN + class head + box head

2.2 QueryDet的网络架构：

QuerDet = RetinaNet + query head

backbone 的4层特征图P2, P3, P4, P5分别来自ResNet的Conv2_x, Conv3_x, Conv4_x, Conv5_x，P6, P7则来自进一步的下采样，目的是检测更大和超大的物体。

2.3 QueryDet的训练过程

首先要明确一下作者所提的Q，K，V到底是什么：
Q：在第L层特征图上，所有被判定为小物体像素中心的坐标构成了Q
K：将第L层的Q向第L-1层做映射得到的坐标构成K，映射方法是，一个点映射到下一层的四个点。
V：根据Q提取出的第L层上相应坐标的特征图。

QueryDet在RetinaNet的基础上增加了一个query head，classfication head 和regression head的训练过程和RetinaNet保持一致。只需要增加一个query head 的步骤。

2.3.1 查询头的训练

• 生成目标图：

  1. 对于一张图片，找到bbox标注信息，从中提取每一个物体的中心点坐标，然后将该坐标映射到特征层$l$上，得到物体中心坐标的集合$\{(x_l^o,y_l^o),...,...,\}$
  2. 对于该特征层上的每一个像素点$(x,y)$，计算其与中心坐标集合中每一个坐标点的距离，取其中的最小值，如果这个最小值小于预定于的小物体尺寸，将目标图上该像素点的值记为1，反之记为0，这样就得到了$l$层的GT目标图$V_l$，这一步对应论文中的两个公式：
     $$D_l[x][y]=min\{(x-x_l^o{)}^2+(y-y_l^o{)}^2\}$$
     Vl∗[x][y]={ 1if Dl[x][y]<sl0if Dl[x][y]≥sl V^*_l[x][y] = \begin{cases} 1 & \text{if } D_l[x][y] < s_l \\0 & \text{if } D_l[x][y] \geq s_l \end{cases} Vl∗​[x][y]={ 10​if D