论文：CenterNet: Keypoint Triplets for Object Detection 阅读笔记

一、论文

CenterNet: Keypoint Triplets for Object Detection

https://arxiv.org/abs/1904.08189

code:https://github.com/Duankaiwen/CenterNet

 

二、笔记

1、背景

1）、anchor-based方法anchor方法的复杂性

2）、cornernet没有好好利用图片里每个物体的区域信息，同时预测的两个点，对物体的边界过于敏感。

 

2、想法

根据conrner存在的一些问题，提出的解决办法，从cornernet发展而来。

Our intuition is that, if a predicted bounding box has a high IoU with the ground truth box, then the probability that the center keypoint in its central region is predicted as the same class is high, and vice versa.

我们的直觉是，如果一个预测的box和ground truth有一个很高的IOU，那么它的中心区域的关键点被预测为同一类的概率很高，反之亦然

对于每个检测框有一个中心区域，同时对于每个物体有一个中心点，如果物体的中心点，落在了预测的框的中心区域，那么这个框就是可信的。

 

3、创新点

a)、使用center pooling and cascade corner pooling，类似两阶段的head部分（使用卷积单独对roi部分的feature再进行运算）来分析物体区域的视觉模式

在原来的cornernet预测两个点的基础上，又增加了一个分支来预测center point

 

 

4、细节

a)、算法流程

(1) select top-k center keypoints according to their scores; 

(2) use the corresponding offsets to remap these center keypoints to the input image; 

(3) de-fifine a central region for each bounding box and check if the central region contains center keypoints. Note that the class labels of the checked center keypoints should be same as that of the bounding box; 

(4) if a center keypoint is detected in the central region, we will preserve the bounding box. The score of the bounding box will be replaced by the average scores of the three points, i.e., the top-left corner, the bottom-right corner and the center keypoint. If there are no center keypoints detected in its central region, the bounding box will be removed.

 

b)、如何决定中心区域的大小，基于小的中心区域使得小的检测框的召回率低，大的中心区域使得大的预测框的准确率低，因此设计了一个可以根据预测框大小自动调整中心区域的公式，可以对于大的框算出来一个小的中心区域，对于小的框算出来一个大的中心区域

 

c)、Center pooling

采用了类似corner pooling的方式，在水平和垂直两个方向上求最大值

d)、Cascade corner pooling

不仅像corner pooling 那样在边界的水平反向和垂直方向上求最大值，而且会在最大值处，再沿着垂直，水平方向，往内部求最大值，最后将两个最大值加在一起。

e）、中心点和从预测框得出的中心区域相当于都是从网络得出来的。

git paper list: 

https://github.com/zhiAung/Paper/tree/master/2%E3%80%81Detection