CornerNet论文笔记

粗读概念

1. 论文提出了什么?

---

• 论文提出了一种不需要$anchorboxes$的目标检测的方法
• 提出了一种新的$corner-pooling$操作
• 属于$anchor-free$的方法

2. 论文为什么提出这种方法?解决了什么问题

---

• 此前的$one-stagedetecor$需要在图像上生成许多$anchorboxes$, 但是只有少量的$box$能够在
  覆盖到有目标的地, 过多的$negativebox$导致样本不平衡,从而训练缓慢

• 需要$anchorboxes$ 的方法通常需要设置许多超参数, 例如$box$数量, 长宽比, 大小等, 这些通常需要一些经验来支持更好的结果

3. 方法描述

---

通过卷积网络生成一组$top-leftcorner$和一组$bottom-rightcorner$以及它们对应的$embeddingvector$, 这个$vector$的作用是匹配属于一个$object$的左上右下的角点

4. corner pooling

---

• 作者提出$cornerpooling$是因为实际中, $objectbox$的角点通常是在$object$的外面的, 所以没有本地的依据来进行调整, 如下图所示, 作者提出一种新的$cornetpooling$ 来解决这个问题

• 具体是对角点的水平和垂直两个方向,分别在$featuremap$上取各个$channel$上的最大值, 然后再加起来

• 但是文中提到的两个$featuremap$是指的什么呢??
  以$top-leftcorner$为例, 是$hourglassnetwork$生成$featuremap$分别做水平和垂直$pooling$生成 $t_{ij}$ 和 $l_{ij}$ 的, 本质上是一个$featuremap$

  

精读部分

3 CornerNet

---

3.1 overview

$CornerNet$通过$HumanPoseEstimation$领域中$HourglassNetwork$作为$backbone$提取初级特征, 然后将初级特征输入到$Top-leftCorners$和$Bottom-rightCorners$两个预测模块中, 经过$cornerpooling$及后续的$nn$得到$Heatmaps,Embeddings,Offsets$三个输出, 其中$Heatmaps$为$C\times H\times W$的$binarymask$, 有C个$channels$分别对应C个$classes$, $H\times W$分别对应图上的点是否有$Corners$, $Embeddings$用来对预测的两种$corners$的$grouping$,也就是配对, $Offsets$用来微调预测角点的值, 改善网络对小目标的预测结果

3.2 Detecting Corners

---

这个部分主要讲了两个内容:

1. $NegativePosition$的定义: 以$gtposition$为中心, $radius$为半径的圆外的点, 其中radius的大小有$gtbbox$的大小确定,原则如下图所示,大意是$radius$中点组成的$box$与$gtbox$的$IOU$最小为$t$, 文中的括号里$0:3$没看懂,感觉是笔误,应该是$0.3$吧(这个不太确定). 对于$negativeposition$的$penalty$, 作者使用$2DGaussians=e^{-(x^2+y^2)/2\times {\sigma }^2}$生成一个$gtheatmap$为$y_{cij}$, 以$gtposition$为中心,方差为$radius/3$, 从公式可以看到对于生成的$heatmap$某个点若对应$y_{cij}=1$(即对应$gtposition$),按照上式求$loss$, 对于其他$negativeposition$,越接近$gtposition$, 那么$(1-y_{cij})$则越小, 也就是惩罚越小,来计算$loss$.

   
   

   

2. $Offsets$: 许多网络下采样后将预测的左边remap回原始图像时通常会损失一些精确度, 所以作者在$CornerNet$中设置$offsets$来微调预测的坐标使结果更准确.其中$(2)$式为计算偏差公式, 那么$o_k$和${\hat{o}}_k$分别对应$gtoffset$与$predictoffset$, 最后通过$SmoothL1Loss$来学习. $SmoothL1Loss$是$FastRCNN$中提出的,相比$L1$收敛更快,相比$L2$对于离群点、异常值更加鲁棒,训练不容易跑飞

   

3.3 Grouping Corners

---

这个部分讲如何将预测的$corners$进行配对,文中写的方法是based on the distance between the embeddings of corners ,但是具体距离的计算公式什么,文中没有给出,也许可以在作者提到的$Newell$的论文中有提到, 此外作者引用$Newell$论文中$pull-push$的方法训练使成对的$corner$接近,不成对的进行远离.

3.4 Corner Pooling

---

大概原理如下图所示, 文中说的$vector$应该指的是$1\times channel$, 也就是从$spatial$的每个点看向$channel$方向, 下图是一个$channel$的$top-leftcornerpooling$情形,分别从右往左与从下往上$maxpooling$

4 Experiments

---

实验中作者验证了论文几个$keycomponents$的结果,总结如下:

1. 不同$pooling$方式的对比显示$cornerpooling$在$AP$上提高2%

2. $negativepenalty$中$radius$的三种方式对比, 不要$radius$效果最差, $fixedradius$提高接近3%, $object-dependentradius$提高5.5%(这个是文中使用的方法)

3. 在$backbonenetwork$的对比中$Hourglass+corners$比$FPN+corners$提到6%多, 性能差别还是挺大的.