[论文笔记]Objects as Points

 

Title：Objects as Points

Authors: Xingyi Zhou (UT Austin), Dequan Wang (UC Berkeley), Philipp Kr¨ahenb¨uhl (UT Austin)

Paper    code-pytorch

---

 

　　一篇非常好的目标检测anchor-free的文章，只利用一个点（BoundingBox的中心点）来预测object的位置和大小、尺寸。并且没有NMS后处理。在速度和精度的trade-off上表现优异。

基本思想

• 输入图像$I：W \times H \times 3$

• 目标：产生一个keypoint heatmap $\hat{Y} \in {[0,1]}^{\frac{W}{R} \times \frac{H}{R} \times C}$；$R$是步长，所以输出尺寸变小；$C$是keypoint的类型。预测值$\hat{Y}_{x,y,c}=1$代表一个检测的keypoint,$\hat{Y}_{x,y,c}=0$表示背景。

• 训练的真值：对于类别为$c$的ground truth keypoint $p\in\mathcal{R}^2$,取整操作计算对应的低分辨率$\tilde{p}=\left \lfloor \frac{p}{R} \right \rfloor$（对应的小尺寸位置，怎么算的？一个RXR的块中有一个点是center），然后利用高斯核$Y_{xyc}=exp(-\frac{(x-\tilde{p}_x)^2+(y-\tilde{p}_y)}{2 \sigma^{2}_{p}})$形成一个heatmap  $Y \in {[0,1]}^{\frac{W}{R} \times \frac{H}{R} \times C}$

• 损失函数（之一）是penalty-reduced pixelwise logistic regression with focal loss

• 为了减少输出时步长带来的离散化误差，额外为每个center point预测一个local offset $\hat{O} \in \mathcal{R}^{\frac{W}{R} \times \frac{H}{R} \times 2}$.所有的类别c都享有同样的offset prediction。训练公式是

• 尺寸回归：是object $k$ with class $c_k$的外接矩形,其中心显然是，用$\hat{Y}$来预测中心点。对应的bounding box 尺寸是，为了减少计算负担，用一个单一的尺寸预测应用于所有的object categories。有：

• 总的Loss function

• interference阶段：分离出每个类别的热力图中的峰值，检测所有响应点（像素）是否大于或等于8邻域点，保留前100个。\hat{P}_c是c类对应的n个检测的中心点的集合。每个检测点有一对坐标$(x_i,y_i)$，检测框可以计算得到：

 

•  四种主网络分别是ResNet-18, ResNet-101, DLA-34, and Hourglass-104

实验结果

 

转载于:https://www.cnblogs.com/xiaoaoran/p/11124428.html