目标检测：CenterNet论文解读及代码详解

论文思想

当前anchor-based目标检测方法可分one-stage、two-stage两种。one-stage模型利用anchor机制得到大量的框，之后直接加入回归、分类分支对框进行分类与微调。two-stage模型则首先提出大量的候选框，使召回率达到最大，之后在第二个stage对这些候选框进行分类与回归。无论是one-stage还是two-stage方法都存在大量的计算资源浪费和必须后处理（nms）的问题，从而无法实现end-to-end。
本篇论文的作者提出了一种anchor-free的目标检测方法，其思想非常的简洁高效：

1. 用目标框中心点表示物体
2. 使用中心点位置的特征预测中心点offset和目标框的长、宽
3. 每个中心点只产生一个框，从而无需nms后处理，实现真正的end-to-end

模型结构

根据mmdetection中centernet的config和论文中的描述，我绘制了如下的网络结构。backbone部分使用resnet-18，neck部分并未采用fpn而是采用了三次上采样，将backbone部分输出的512*(w/32)(h/32)的feature map恢复成64(w/4)*(h/4)的大小，这样做的目的是即得到高层丰富的语义信息又可以得到高分辨率的输出。最后head部分使用了三个head，分别是:heatmap head、offset head、wh head。heatmap head有c个通道，c代表类别数，每个数字代表当前为ci类别的物体中心点的概率，因此heatmap feature是经过sigmoid处理后的结果。wh head有两个通道，分别代表了由相对应heatmap点预测的到的bbox的宽和高。offest head的通道数也为2，分别代表相对应heatmap点预测得到的中心点的偏移量。

Train

论文针对三个head设计了三个loss进行学习，对于heatmap head使用Gaussian focal loss，对于wh head和offset head则使用L1 loss。本文仅对Gaussian focal loss部分进行深入讲解。首先需要解决的问题是如何的到gt heatmap，因为目标检测数据集的label只是类别和框的位置信息。我们可以看mmdetection对这个问题的源码实现：

    def get_targets(self, gt_bboxes, gt_labels, feat_shape, img_shape):
        """Compute regression and classification targets in multiple images.
        Args:
            gt_bboxes (list[Tensor]): Ground truth bboxes for each image with
                shape (num_gts, 4) in [tl_x, tl_y, br_x, br_y] format.
            gt_labels (list[Tensor]): class indices corresponding to each box.
            feat_shape (list[int]): feature map shape with value [B, _, H, W]
            img_shape (list[int]): image shape in [h, w] format.
        Returns:
            tuple[dict,float]: The float value is mean avg_factor, the dict has
               components below:
               - center_heatmap_target (Tensor): targets of center heatmap, \
                   shape (B, num_classes, H, W).
               - wh_target (Tensor): targets of wh predict, shape \
                   (B, 2, H, W).
               - offset_target (Tensor): targets of offset predict, shape \
                   (B, 2, H, W).
               - wh_offset_target_weight (Tensor): weights of wh and offset \
                   predict, shape (B, 2, H, W).
        """
        img_h, img_w = img_shape[:2]
        bs, _, feat_h, feat_w = feat_shape

        width_ratio = float(feat_w / img_w)
        height_ratio = float(feat_h / img_h)

        center_heatmap_target = gt_bboxes[-1].new_zeros(
            [bs, self.num_classes, feat_h, feat_w])
        wh_target = gt_bboxes[-1].new_zeros([bs, 2, feat_h, feat_w])
        offset_target = gt_bboxes[-1].new_zeros([bs, 2, feat_h, feat_w])
        wh_offset_target_weight = gt_bboxes[-1].new_zeros(
            [bs, 2, feat_h, feat_w])

        for batch_id in range(bs):
            gt_bbox = gt_bboxes[batch_id]
            gt_label = gt_labels[batch_id]
            center_x = (gt_bbox[:, [0]] + gt_bbox[:,