目标检测中的NMS，soft NMS，softer NMS，Weighted Boxes Fusion

NMS

非最大值抑制算法，诞生至少50年了。

在经典的两阶段目标检测算法中，为了提高对于目标的召回率，在anchor阶段会生成密密麻麻的anchor框。

所以在后处理的时候，会存在着很多冗余框对应着同一个目标。

因此NMS就是后处理中去除冗余框的必不可少的步骤。

NMS算法的具体流程：
输入 boxes，scores， iou_threshold

• step-1：将所有检出的output_bbox按cls score划分（如pascal voc分20个类，也即将output_bbox按照其对应的cls score划分为21个集合，1个bg类，背景类直接剔除）；

• step-2：在每个类集合内根据各个bbox的cls score做降序排列，得到一个降序的list_k；

• step-3：对所有的list_k进行遍历，如有20个类，就得对这20个list都进行遍历。从list_k中top1 cls score开始，计算该bbox_x与list中其他bbox_y的IoU，若IoU大于阈值T，则剔除该bbox_y，最终保留bbox_x，从list_k中取出，保存在output_k中最后作为结果输出；

• step-4：继续选择list_k中top1 cls score，重复step-3中的迭代操作，直至list_k中所有bbox都完成筛选；

• step-5：对每个集合的list_k，重复step-3、4中的迭代操作，直至所有list_k都完成筛选；

import torch
from torch import Tensor
from typing import Tuple
from ._box_convert import _box_cxcywh_to_xyxy, _box_xyxy_to_cxcywh, _box_xywh_to_xyxy, _box_xyxy_to_xywh
import torchvision
from torchvision.extension import _assert_has_ops


[docs]def nms(boxes: Tensor, scores: Tensor, iou_threshold: float) -> Tensor:
    """
    Performs non-maximum suppression (NMS) on the boxes according
    to their intersection-over-union (IoU).

    NMS iteratively removes lower scoring boxes which have an
    IoU greater than iou_threshold with another (higher scoring)
    box.

    If multiple boxes have the exact same score and satisfy the IoU
    criterion with respect to a reference box, the selected box is
    not guaranteed to be the same between CPU and GPU. This is similar
    to the behavior of argsort in PyTorch when repeated values are present.

    Args:
        boxes (Tensor[N, 4])): boxes to perform NMS on. They
            are expected to be in ``(x1, y1, x2, y2)`` format with ``0 <= x1 < x2`` and
            ``0 <= y1 < y2``.
        scores (Tensor[N]): scores for each one of the boxes
        iou_threshold (float): discards all overlapping boxes with IoU > iou_threshold

    Returns:
        keep (Tensor): int64 tensor with the indices
            of the elements that have been kept
            by NMS, sorted in decreasing order of scores
    """
    _assert_has_ops()
    return torch.ops.torchvision.nms(boxes, scores, iou_threshold)

NMS存在的一些问题

• 物体重叠：如下面第一张图，会有一个最高分数的框，如果使用nms的话就会把其他置信度稍低，但是表示另一个物体的预测框删掉（由于和最高置信度的框overlap过大）

• 存在一些，所有的bbox都预测不准，不是所有的框都那么精准，有时甚至会出现某个物体周围的所有框都标出来了，但是都不准的情况

• 传统的NMS方法是基于分类分数的，只有最高分数的预测框能留下来，但是大多数情况下IoU和分类分数不是强相关，很多分类标签置信度高的框都位置都不是很准

• 

Soft NMS

Improving Object Detection With One Line of Code

论文发表于 ICCV 2017

http://arxiv.org/abs/1704.04503