目标检测之NMS

深度学习基本功3:NMS(Non-Maximum Suppression,非极大值抑制)算法原理及实现 大多数目标检测算法(稠密预测)在得到最终的预测结果时,特征图的每个位置都会输出多个检测结果,整个特征图上会出很多个重叠的框。例如要检测一辆车,可能会有多个bbox都把这辆车给框了出来,因此需要从这些bbox中选出框得最好的,删除掉其它的。要定义框得好与不好,就得看bbox的预测置信度;为了删掉重叠的多余的框,就得利用IoU来检查重叠程度。 阅读详情

什么是NMS?

  NMS(非极大值抑制,Non-Maximum Suppression),是一种提取目标检测中分数最高的窗口的算法。例如在目标检测中,我们的神经网络对一个目标生成了多个检测窗口,但是事实上这些窗口中大部分内容都是重复的,我们真正需要的只有一个。

NMS前后对比

  所以我们要做就是找到目标检测最优的窗口,NMS就是用来选取多个检测窗口中分数最高的那个窗口,剔除掉其他的同类型的窗口,因此 NMS 在计算机视觉领域有着非常重要的应用。

目标检测网络输出

为什么目标检测在同一物体会有多个框?
在这里插入图片描述
  在目标检测任务中,预测结果会得到多个bounding box(bbox),这是为了模型目标检测的准确性,例如上图模型得到了两个bbox,可以看到网络的最终输出是 7×7×30。7x7 指的是图像分为 7x7 个区域进行预测。
  最终输出 tensor 的前五个数值,分别是 bbox 的 x x x, y y y, w w w, h h h, c c c或者 x 1 x_1 x1​, y 1 y_1 y1​, x 2 x_2 x2​, y 2 y_2 y2​, c c c, 前四个值为bbox的位置信息, c c c为bbox 的置信度。
  置信度就是算法的自信心得分,越高表示越坚信这个检测的目标没错。
  通过多个bbox增加预测的准确性,进一步通过NMS去除冗余bbox,最后得到更加准备的预测结果。

基础知识IoU

  IoU 的全称为交并比(Intersection over Union),通过这个名称我们得出 IoU 的计算方法。IoU 计算的是 “预测的边框” 和 “真实的边框” 的交集和并集的比值。在目标检测任务中,IoU成为一个衡量预测的检测框的准确度的一个重要计算指标。包括目标检测中的AP和mAP的指标,都是依据IoU的计算来实现的。
在这里插入图片描述
  对于任意的检测框,设定两个框的IoU阈值作为两者是否合并的评判依据,并执行NMS操作来删除冗余的检测框。

iou实现思路

  • 首先计算两个box左上角点坐标的最大值和右下角坐标的最小值(这是因为图像数据标注时一般以图像的左上角为坐标原点);
  • 然后计算交集面积;
  • 最后把交集面积除以对应的并集面积。

NMS算法流程

  1. 给出一张图片和上面许多物体检测的候选框(即每个框可能都代表某种物体),但是这些框很可能有互相重叠的部分,我们要做的就是只保留最优的框。假设有N个框,每个框被分类器计算得到的分数为 S i S_i Si​, 其中1 ≤ i ≤ N \leq i \leq N ≤i≤N;
  2. 建造一个存放待处理候选框的集合 H \bm{H} H,初始化为包含全部 N N N个框;建造一个存放最优框的集合 M \bm{M} M,初始化为空集;
  3. 将所有集合 H \bm{H} H中的框进行排序,选出分数最高的框 m m m,从集合 H \bm{H} H 移到集合 M \bm{M} M;
  4. 遍历集合 H \bm{H} H中的框,分别与框 m m m计算交并比(Interection-over-union,IoU),如果高于某个阈值(一般为0~0.5),则认为此框与 m m m重叠,将此框从集合 H \bm{H} H中去除;
  5. 回到第2步进行迭代,直到集合 H \bm{H} H为空。集合 M \bm{M} M中的框为我们所需。

NMS核心代码

def py_cpu_nms(dets, thresh):
    """Pure Python NMS baseline."""
    # x1、y1、x2、y2、以及score赋值
    x1 = dets[:, 0]
    y1 = dets[:, 1]
    x2 = dets[:, 2]
    y2 = dets[:, 3]
    scores = dets[:, 4]

    # 每一个检测框的面积
    areas = (x2 - x1 + 1) * (y2 - y1 + 1)
    # 按照score置信度降序排序
    order = scores.argsort()[::-1]

    pick = []  # 保留的结果框集合
    while order.size > 0:
        i = order[0]
        pick.append(i)  # 保留该类剩余box中得分最高的一个
        # 得到相交区域,左上及右下
        xx1 = np.maximum(x1[i], x1[order[1:]])
        yy1 = np.maximum(y1[i], y1[order[1:]])
        xx2 = np.minimum(x2[i], x2[order[1:]])
        yy2 = np.minimum(y2[i], y2[order[1:]])

        # 计算相交的面积,不重叠时面积为0
        w = np.maximum(0.0, xx2 - xx1 + 1)
        h = np.maximum(0.0, yy2 - yy1 + 1)
        inter = w * h
        # 计算IoU:重叠面积 /(面积1+面积2-重叠面积)
        ovr = inter / (areas[i] + areas[order[1:]] - inter)
        # 保留IoU小于阈值的box
        inds = np.where(ovr <= thresh)[0]
        order = order[inds + 1]  # 因为ovr数组的长度比order数组少一个,所以这里要将所有下标后移一位

    return pick

NMS完整代码

import numpy as np
# import cv2
import matplotlib.pyplot as plt

det_result = np.array([[20, 5, 200, 100, 0.353],
                       [50, 50, 200, 200, 0.624],
                       [20, 120, 150, 150, 0.667],
                       [250, 250, 400, 350, 0.5],
                       [90, 10, 300, 300, 0.3],
                       [40, 220, 280, 380, 0.46]])
colors = ['red', 'blue', 'green', 'yellow', 'pink', 'gray']


# plt.figure()


def py_cpu_nms(dets, thresh):
    """Pure Python NMS baseline."""
    # x1、y1、x2、y2、以及score赋值
    x1 = dets[:, 0]
    y1 = dets[:, 1]
    x2 = dets[:, 2]
    y2 = dets[:, 3]
    scores = dets[:, 4]

    # 每一个检测框的面积
    areas = (x2 - x1 + 1) * (y2 - y1 + 1)
    # 按照score置信度降序排序
    order = scores.argsort()[::-1]

    pick = []  # 保留的结果框集合
    while order.size > 0:
        i = order[0]
        pick.append(i)  # 保留该类剩余box中得分最高的一个
        # 得到相交区域,左上及右下
        xx1 = np.maximum(x1[i], x1[order[1:]])
        yy1 = np.maximum(y1[i], y1[order[1:]])
        xx2 = np.minimum(x2[i], x2[order[1:]])
        yy2 = np.minimum(y2[i], y2[order[1:]])

        # 计算相交的面积,不重叠时面积为0
        w = np.maximum(0.0, xx2 - xx1 + 1)
        h = np.maximum(0.0, yy2 - yy1 + 1)
        inter = w * h
        # 计算IoU:重叠面积 /(面积1+面积2-重叠面积)
        ovr = inter / (areas[i] + areas[order[1:]] - inter)
        # 保留IoU小于阈值的box
        inds = np.where(ovr <= thresh)[0]
        order = order[inds + 1]  # 因为ovr数组的长度比order数组少一个,所以这里要将所有下标后移一位

    return pick


def non_max_suppression(dets, threshold):
    """执行non-maximum suppression并返回保留的boxes的索引.
    dets:(x1、y1、x2、y2,scores)
    threshold: Float型. 用于过滤IoU的阈值.
    """
    x1 = dets[:, 0]
    y1 = dets[:, 1]
    x2 = dets[:, 2]
    y2 = dets[:, 3]
    scores = dets[:, 4]

    # 每一个检测框的面积
    areas = (x2 - x1 + 1) * (y2 - y1 + 1)

    # 获取根据分数排序的boxes的索引(最高的排在对前面)
    ixs = scores.argsort()[::-1]

    pick = []
    while len(ixs) > 0:
        # 选择排在最前的box,并将其索引加到列表中
        i = ixs[0]
        pick.append(i)
        # 计算选择的box与剩下的box的IoU

        xx1 = np.maximum(x1[i], x1[ixs[1:]])
        yy1 = np.maximum(y1[i], y1[ixs[1:]])
        xx2 = np.minimum(x2[i], x2[ixs[1:]])
        yy2 = np.minimum(y2[i], y2[ixs[1:]])

        # 计算相交的面积,不重叠时面积为0
        w = np.maximum(0.0, xx2 - xx1 + 1)
        h = np.maximum(0.0, yy2 - yy1 + 1)
        inter = w * h
        # 计算IoU:重叠面积 /(面积1+面积2-重叠面积)
        ovr = inter / (areas[i] + areas[ixs[1:]] - inter)

        remove_ixs = np.where(ovr > threshold)[0] + 1
        # 将选择的box和重叠的boxes的索引删除.
        ixs = np.delete(ixs, remove_ixs)
        ixs = np.delete(ixs, 0)
    return np.array(pick)


if __name__ == '__main__':
    for i in range(len(det_result)):
    
        plt.plot([det_result[i][1], det_result[i][3], det_result[i][3], det_result[i][1],
                  det_result[i][1]],  # col
                 [det_result[i][0], det_result[i][0], det_result[i][2], det_result[i][2],
                  det_result[i][0]],  # row
                 color=colors[i], marker='.', ms=0)
    plt.show()

    result = py_cpu_nms(det_result, 0.1)
    # result=non_max_suppression(det_result,0.1)
    print(result)
    for j in range(len(result)):
        
        i = result[j]
        plt.plot([det_result[i][1], det_result[i][3], det_result[i][3], det_result[i][1],
                  det_result[i][1]],  # col
                 [det_result[i][0], det_result[i][0], det_result[i][2], det_result[i][2],
                  det_result[i][0]],  # row
                 color=colors[i], marker='.', ms=0)
    plt.show()

NMS(非极大值抑制)算法详解与示例 nms的使用总结 阅读详情

相关推荐

目标检测——NMS非极大值抑制(原理+代码)

非极大值抑制(NMS),顾名思义就是抑制不是最大值的元素,在目标检测当中,就是提取置信度高的目标检测框,而抑制置信度低的框。一般来说,在模型输出到目标框的时候,目标框会非常多,其中有很多重复的框会定位到同一个目标上,NMS用来筛选掉多余的框,来获得真正的目标框。如下图,YOLOv1中使用到的NMS的过程,在模型预测后,会产生很多的框,经过NMS的处理,最后显示出的效果就非常的好。

m0_74055982的博客 1万+

NMS

对NMS的理解内容,如有不对请指出。 在引进NMS概念之前我们先介绍IOU(交并比),因为在NMS中选出框图起到至关重要的作用 1、IOU(交并比) 对于bounding box的定位精度,有一个很重要的概念,那就是定位精度评价公式:IOU。 IOU表示了bounding box 与 ground truth 的重叠度,如下图所示: 矩形框A、B的一个重合度IOU计算公式为: IOU

奔跑的云彩的博客 1735

目标检测后处理:从nms到softer nms

对于目标检测算法,它包含了三个要素:Backbone + Head + Postprocess,上一篇文章介绍了Light Head R-CNN,它是对“head”部分的优化,对于Postprocess部分,最早用的是NMS,后面出现了Soft NMS和Softer NMS,本文将分别解释它们的动机和原理,希望能对大家有所帮助。 1 NMS NMS,它的全称为“non-maximum supres...

为之则易,不为则难 8827

NMS(非极大值抑制)代码一步步详解

NMS(非极大值抑制)代码一步步详解

qq_23604781的博客 3598

目标检测(后处理):从 NMS 到 Soft-NMS 到 Softer NMS

目标检测(后处理):从 NMS 到 Soft-NMS 到 Softer NMS

牛顿爱吃香蕉的博客 4195

目标检测中的NMS

1. NMS 非极大值抑制(Non-Maximum suppression,NMS)是目标检测算法中一个必要的后处理过程,目的是消除同一个物体上的冗余预测框。 NMS算法的主要思想是:先对网络预测出的所有边界框按照分数由高到低排序,然后选取分数最高的预测框作为target,分别计算target与其他剩下的预测框的重叠程度(用IOU来衡量),若重叠程度大于某一预先设定的阈值,则认为该预测框与target是同时负责预测同一个物体的,所以将该边界框删除,否则予以保留。接着在未被删除的预测框中选择分数最高的预测框

dekiang 6124

【目标检测】NMS、Soft-NMS、Fast-NMS

【目标检测】NMS、Soft-NMS、fast-NMSNMSSoft-NMSfast-NMS NMS NMS是目标检测中常用的算法,最终网络的输出可能包括了很多预测框,其中一个目标周围会有许多候选框,如下图所示,而该算法目的是找出最佳的目标位置。 主要有两种实现方式,一种是将一张图片中的所有的预测框聚在一起进行NMS,一种是将一张图片中所有预测框按所预测的类别分别进行NMS(也就是以类别为外循环...

John's Blogs 5785

【深度学习】【目标检测】NMS、Soft-NMS、fast-NMS

【目标检测】NMS、Soft-NMS、fast-NMSNMS NMS

Hana 2919

【NMS总结】:一文打尽目标检测NMS——精度提升

总体概要: 非极大值抑制NMS是目标检测常用的后处理算法,用于剔除冗余检测框,本文将对可以提升精度的各种NMS方法及其变体进行阶段性总结。 对NMS进行分类,大致可分为以下六种,这里是依据它们在各自论文中的核心论点进行分类,这些算法可以同时属于多种类别。 分类优先:传统NMS,Soft-NMS (ICCV 2017) 定位优先:IoU-Guided NMS (ECCV 2018) 加权平均:Weighted NMS (ICME Workshop 2017) 方差加权平均:Softer-NMS (CVPR.

Activewaste 2463

Ansys Lumerical FDTD硬件配置避坑指南:从RTX 4090到A100的GPU选择实战

本文针对Ansys Lumerical FDTD仿真计算,深入分析了从消费级RTX 4090到专业级A100的GPU硬件配置选择。文章指出,选择的关键在于显存容量能否容纳仿真模型,并对比了二者在显存、双精度算力及多卡扩展性上的核心差异,为不同预算和仿真规模的用户提供了实战避坑指南与配置建议。

weixin_29196891的博客 275

Qt绘图库对决:QWT与QCustomPlot的实战选型指南

本文为Qt开发者提供了QWT与QCustomPlot两大绘图库的实战选型指南。文章从功能特性、性能资源、开发效率三大维度进行深度对比,并结合工业监控、科学计算、嵌入式设备等典型场景,给出了清晰的决策清单。对于需要专业科学图表(如极坐标、等高线图)的场景推荐QWT;对于追求高性能、实时性、快速开发及嵌入式部署的通用图表需求,QCustomPlot是更优选择。

alpha的博客 244

目标检测算法——YOLOv5将NMS替换为DIoU-NMS

将NMS替换为DIoU-NMS,初步改进YOLOv5对重叠遮挡目标的识别。

加勒比海带66——【YOLO魔法搭配&论文投稿咨询&Python科研绘图】 1万+

手把手教你用Vivado配置Xilinx SEM IP 3.1(附Tera Term串口调试全流程)

本文详细介绍了如何使用Vivado配置Xilinx SEM IP 3.1,包括工程创建、IP参数调整、VIO工具应用以及Tera Term串口调试的全流程。通过手把手教程,帮助开发者快速掌握SEM IP的配置方法,实现存储器软错误的检测与纠正,提升FPGA开发效率。

weixin_30216561的博客 368

【目标检测】NMS、SoftNMS

NMS、Soft-NMS的概念、步骤与实现

研究兴趣:开放集识别、开放世界识别、新类发现、增量学习、少样本学习 1762

VS2103+Intel2013+MSMPI运行Fortran并行程序

VS2103+Intel2013+MSMPI运行Fortran并行程序MSMPI安装新建Fortran90项目编写Fortran并行程序在cmd运行编译完成的执行文件 MSMPI安装 我这里采用的是Microsoft MPI v9.0.1,可以点此下载。下载完成后同时安装msmpisdk.msi、msmpisetup.exe两个文件,安装位置默认即可。 其中msmpisdk.msi的默认安装路径在C:\Program Files (x86)\Microsoft SDKs\MPI,该文件包含了mpi环境所需

weixin_43176703的博客 2940

AUTOSAR—TM模块介绍及使用概要

根据所要测量的场景不同,有1us16bit、1us24bit、1us32bit、100us32bit四种类型可选;TM模块在服务层,提供一些基于时间的服务功能,如测量CPU和任务的负载,周期执行一些回调函数。2、对于需要在不同时间执行不同逻辑的周期任务中,可以搭建时间状态机:参考Tm用户手册;定时器复位、获取时间宽度、定时器转换、定时器同步、繁忙等待。偏移定时器实例的参考时间,直接将定时器数值进行偏移;以1us16bit定时器类型为例,讲几个常用函数。同步两个定时器,把源定时器时间值给到目的定时器。

qq_42479987的博客 613

目标检测中的NMS,soft NMS,softer NMS,Weighted Boxes Fusion

NMS 非最大值抑制算法,诞生至少50年了。 在经典的两阶段目标检测算法中,为了提高对于目标的召回率,在anchor阶段会生成密密麻麻的anchor框。 所以在后处理的时候,会存在着很多冗余框对应着同一个目标。 因此NMS就是后处理中去除冗余框的必不可少的步骤。 NMS算法的具体流程: 输入 boxes,scores, iou_threshold step-1:将所有检出的output_bbox按cls score划分(如pascal voc分20个类,也即将output_bbox按照其对应的cls

practical_sharp的博客 3015

基于gm/id方法的折叠式共源共栅放大器设计实践

本文详细介绍了基于gm/id设计方法进行折叠式共源共栅放大器设计的完整流程。该方法通过确定晶体管的跨导效率(gm/id)作为核心设计参数,将复杂的放大器设计转化为有明确路径的优化问题。文章以设计一个增益80dB、带宽1GHz的两级放大器为例,逐步拆解了从指标分解、关键晶体管工作点选取、到实战仿真与微调的全过程,特别强调了第二级设计对稳定性的影响以及相位裕度的调试技巧。

w8x9y0z1的博客 418

一文打尽目标检测NMS——效率提升篇

在笔者上一篇文章《一文打尽目标检测NMS——精度提升篇》中,总结了近几年出现的一些可以提升NMS精度的方法。可以看到,NMS由于顺序处理的原因,运算效率较为低下。在笔者的实际项目中,NMS往往能占模型计算总时间的40%甚至更多,极大影响了模型的效率。经过笔者一段时间的调研,关于提升NMS运算速度的方法,在这里也将结合代码进行阶段性总结。 所参考的代码库列举如下: Faster RCNN pytorch (rbg大神) 的 CUDA NMS YOLACT团队提出的Fast NMS CIoU团队提出的Clu.

weixin_43900320的博客 4436

推荐系统(十六):基于ESMM的商品召回/推荐系统

ESMM(Entire Space Multi-Task Model)是阿里巴巴提出的多任务学习框架,通过联合建模点击率(CTR)和点击转化率(CVR)解决传统CVR模型样本稀疏问题。其核心思想是将 CVR 定义为 CTR 与 CTCVR 的条件概率,模型包含两个子任务。

Jin_Kwok的博客 1268

6、高通8155座舱平台--摄像头系统

在项目中遇到过,很多从手机转过来的工程师,上来就按手机那套调Camera,结果发现根本跑不通——为什么?我踩过这个坑——一开始想靠软件打时间戳来对齐,结果发现两个sensor的曝光时间不一样,时间戳根本对不上。我记得第一次调AWB时,怎么调颜色都不对,后来发现是BLC的参数没配好——黑电平偏了,后面所有颜色校正都是错的。上层应用说「我要拍张照」,HAL把它翻译成「ISP你给我处理这帧数据,sensor你给我曝光一次」。8155上推荐用camx,它是高通新一代的Camera框架,性能更好,而且支持多路同步。

woailuojp的博客 59

目标检测中的NMS算法详解

NMS 是目标检测流程中不可或缺的后处理步骤,其核心是基于置信度排序和 IoU 阈值来消除冗余检测框,为每个真实目标只保留一个最优的边界框。理解其概念、计算过程和关键参数(尤其是 IoU 阈值)对于有效应用和调优目标检测模型至关重要。针对传统 NMS 的不足,也发展出了 Soft-NMS、Weighted NMS 等改进算法。

qq_45464126的博客 1076

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

目标检测NMS理解

1 NMS 1)保留score最高的预测框 2)将与当前预测框重叠较多的proposals视作冗余 缺点:稠密物体检测时,同类的两个目标较近。会导致其中一个目标不能被召回。 2 Soft-NMS 1)”迂回“,认为重叠较多的proposals可能包含有效目标,只是重叠区域越大可能性性越小。 3 Softer-NMS softer-NMS关注的是单个框的定位精度,而NMS和soft-NMS关注的...

千秋莫负 1678

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

目标检测算法回顾之NMS变体篇章

目标检测中NMS的发展一级目录二级目录三级目录 一级目录 二级目录 三级目录

xiaobaizaza_Ry的博客 3848
上一篇: python基本操作-super()
下一篇: yolo系列——目标检测基本概念
Priplex
博客等级 码龄6年 18粉丝 19原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值