计算某个类别的P-R曲线

Sklearn之分类器性能评估 分类器的性能评估 在回归任务中,性能评估的方式较为简单,最常用的性能度量方式为均方误差(MSE)。 但是评估分类器就要比评估回归模型要困难很多,我们通常采用以下指标对分类器进行性能评估: 1、准确率、错误率(在评估倾斜类时,不是一个好指标) 2、精度(precision)、召回率(recall)、F1 3、ROC曲线、AUC 在进行性能评估时,依旧和回归模型一样采用交叉验证。 下面我们依次介绍如何... 阅读详情

先了解一下这几个概念

TP(True Positive):对groundtruth 正确检测或者是预测框体与GT框体的阈值大于预设的阈值

FP(False Positive) :对不存在的东西做了错的检测或是预测的IoU小于预设的阈值

FN(False Negative):没有检测到的GT的数量

查准率和查全率:
Precision 查准率:TP/(TP+FP)   模型预测的所有目标中,预测正确的比例

Recall 查全率:TP/(TP+FN)   所有真实目标中,模型预测正确的目标比例

AP:P-R曲线下的面积

P-R曲线:Precision-Recall 曲线

我们以猫类别为例,假设模型已经训练好了,验证集就是这三张图片

 对于第一张图片,我们将它的检测结果给记录成一个表格,表格中记录每个GT ID,每个检测框的置信度,还有预测框与GT的交并比是否大于设定的阈值,同时记录一下GT的数量num_ob,表格中的置信度按降序排列

对于第二张图片,执行相同的操作,结果如下:

第三张图片,执行与第一张图片相同的操作结果如下:

 这样我们就将模型的检测结果记录下来,得到一个表格,有了这个表格之后,我们就来计算一下针对confidience取不同的阈值所得到的Precision 和Recall的信息

 首先取confidence取大于等于0.98,计算Precision和Recall,下图是计算结果

 我们将confidence取大于等于0.89,计算Precision和Recall

 接下来取confidence大于等于0.88,再取confidence大于等于0.78,以此类推,直到计算完整个表格

全部计算之后,我们就能得到一系列的Precision和Recall,我们就以Recall 为横坐标,Precision为纵坐标就能得到一个P-R曲线,需要注意的是,对于横坐标Recall,需要滤除一些重复的信息,比如说,对于Recall等于0.57 的情况,我们这个表格里面有三个值,我们只需要保留Precision 值最大的情况

 我们就可以计算P-R曲线下的面积了,用阴影部分框住的面积呢就是AP了,也就是对于猫这个类别的AP结果。

我们常说的mAP 就是各类别AP的平均值。

此文借鉴:目标检测mAP计算以及coco评价标准_哔哩哔哩_bilibili

mmdetection目标检测评估:手动计算P、R、F1指标与可视化 在目标检测中,mAP是综合指标,但精确率(Precision)、召回率(Recall)和F1值更直观,尤其适用于工业质检、安防监控等场景。这些指标基于混淆矩阵(TP、FP、FN)和IoU匹配计算,通过置信度阈值调节,能清晰反映漏检和误报情况。mmdetection官方评估仅输出mAP,手动计算P、R、F1可满足报告和对比需求。本文分享无需修改源码的完整方案,包括预测导出、标注解析、指标计算及可视化,帮助工程师高效评估模型性能。 阅读详情

相关推荐

计算机视觉相关的评价指标

目录:一:准确率 (Accuracy) 、错误率 (Error rate)二:混淆矩阵 (Confusion Matrix)三:召回率(Recall)、精确率(Precision)四: P-R曲线、平均精度(Average-Precision,AP)、F指标五:受试者工作特征曲线(Receiver OperatingCharacteristic,ROC)、AUC(Area Under Curve)...

h1yupyp的专栏 6014

AP与mAP,P-R曲线,ROC与AUC TP TN FP FN

AP:P-R曲线的面积 mAP:AP平均值 P-R曲线:查准率(P,预测为正的那些样本中真正为正的概率,即预测为正的准确度)为纵轴、查全率(R,同真正例率)为横轴曲线 ROC与AOC曲线:真正例率(正例中被预测对的)为纵轴、假正例率(负例中被预测错的)为横轴曲线 ...

乐趣是人为构建的,构建是一种莫大的乐趣。 679

YOLOv9【第五章:推理、验证与可视化分析篇·第6节】PR 曲线、F1 曲线、P 曲线、R 曲线可视化分析!

🏆 本文收录于 《YOLOv9实战:从入门到深度优化》 专栏。该专栏系统复现并深度梳理全网主流 YOLOv9 改进方法与工程实战案例,覆盖分类、目标检测、实例分割、多目标追踪、关键点检测、旋转目标检测等多个方向,坚持 持续更新 + 深度解析 + 工程验证。

**My Coding Family** 312

机器学习评价指标合辑(TP/FP/FN/TN/Precision/Recall/F1score/P-R曲线/ROC曲线/AUC)

我们训练模型时需要用到各种评价指标,网上很多人的总结要么太凌乱,甚至还有错误,总结一下各种常用的评价指标,以备使用时查阅,如有错误欢迎指出。 1.分类准确率 分类正确的样本占总样本个数的比例。 2.TP/FP/FN/TN 1)True positive(TP): 真正例,将正类正确预测为正类数; 2)False positive(FP): 假正例,将负类错误预测为正类数; 3)Fa...

公众号/知乎: AI算法札记,欢迎关注交流 1万+

Reality Capture控制点修复/合并模型

通过增加控制点/修改对齐设置参数来修复模型被分为两个部分的解决方法

草履虫建模的博客 5239

产品经理-面试题目--持续更新

答:面试官,你好,我叫XXX,来自于XXXX,我系统的学习过软件开发,也主动的积累了不少产品方面的实战经验,在学习期间,我自己独立的完成了2个深度项目,一个是仿抖音的短视频APP全流程设计,另外一个是电商后台系统的模块,通过这些项目,我不仅熟练使用Axure等工具做出高保真原型图和清晰的产品框架,也形成了数据驱动和用户优先的思维习惯,另外,我也注重拓展自己的能力边界,拿到了CAIE人工智能证书,我希望能把AI能力融入到产品场景,提升体验和效率,我非常喜欢产品工作带来的创造性和逻辑性,希望有机会加入贵公司。

m0_63966958的博客 956

深度学习-目标检测评估指标P-R曲线、AP、mAP

基本概念P-R曲线中,P为图中precision,即精准度,R为图中recall,即召回率。Example下面通过具体例子说明。首先用训练好的模型得到所有测试样本的confidence  score,每一类(如car)的confidence &...

fanfan的博客 1404

解构LOL数值平衡:从基础公式到实战决策的深层逻辑

本文深入解析了《英雄联盟》数值平衡的底层逻辑,从基础攻击力公式到经济系统设计,揭示了MOBA游戏背后的精密数学架构。通过实战案例展示护甲减伤、技能伤害建模等核心机制,探讨装备定价与战斗节奏的数值关联,帮助玩家理解版本更新中的平衡艺术。

weixin_42540248的博客 347

目标检测 记录对AP、mAP、P-R曲线的理解

1 precision精确率、recall召回率

Hren0412的博客 2508

高德地图 搜索和点击定位

高德地图vue

weixin_45474673的博客 1943

攻防世界 misc题GFSJ1129-【您看我还有机会吗?】

我们发现了隐藏内容,一开始我以为那个英文就是flag,提交后发现不对,然后我想只有一张图片然后图片上的隐写内容又不是flag,那必定还有什么文件被隐藏了,于是我们打开VMware并启动Ubuntu,使用binwalk分析一下有没有隐藏文件,我们要在Terminal中分析,如下。我们发现里面有一个flag.txt文件,我们尝试提取里面内容,但发现又要密码,我们想起了之前图片上的隐藏内容,我们将那段英文输入(包括空格和符号,在VMware中输入密码不会有显示,你看到的就像没输入一样),然后我们看到如下。

大数据专业,关注 AI 安全与数学建模。记录 Web 安全、对抗攻击、隐私保护等安全实践,以及从经典模型到智能方法的建模思考。用数学思维理解 AI,用 AI 方法反哺安全与建模。 1092

P-R曲线绘制 *鸢尾花

不同的阈值会导致精确率和召回率的变化,相应地,PR曲线会在precision-recall空间中绘制出各个阈值对应的点。SVM的目标是找到一个超平面,使得不同类别的样本点最大化到该超平面的距离。精确率:预测为正类的数据中实际为正类的比例,公式为:Precision = TP / (TP + FP),其中TP表示真正例,FP表示假正例。此处用的分类器为SVM分类器,SVM的主要思想是找到一个最优的超平面来分离数据,使得两个不同类别的样本点到该超平面的距离最大化。P—R曲线真好玩,下次还要玩~

qq_61676094的博客 1134

GEE APP:基于Sentinel-2遥感影像的植被指数(NDVI)和水体指数(NDWI)可视化应用

本文介绍了利用Google Earth Engine(GEE)平台处理Sentinel-2卫星数据的方法,重点讲解NDVI(归一化植被指数)和NDWI(归一化水体指数)的计算与应用。内容包括环境准备、数据加载与处理、指数计算原理、可视化方法以及实际应用案例。教程详细展示了如何定义研究区域、加载影像数据、进行指数运算,并生成专业统计报告和图例。文章还提供了常见问题解答和最佳实践建议,为生态环境监测、农业评估和水资源管理等场景提供了实用工具。通过JavaScript代码示例,读者可以快速掌握GEE平台的遥感影像

此星光明博客 272

P-R曲线绘制(多分类问题)

以iris数据为样本实现P-R曲线的绘制 import matplotlib.pyplot as plt import numpy as np from sklearn import svm, datasets from sklearn.metrics import precision_recall_curve, average_precision_score from sklearn.model_selection import train_test_split from sklearn.prepro

weixin_42196948的博客 3724

OpenCV实战之人脸美颜美型(八)——大眼(上)

从大众审美的角度来看,眼睛适当的“变大”会让人显得更加年轻。因此美型中就有一项大眼功能,其效果就是让眼睛适当变大,这章内容就围绕着大眼算法展开。

On my way 1211

Ollama DNS 重新绑定攻击 (CVE-2024-28224)

一旦 DNS 重新绑定攻击成功,攻击者就可以对这些 API 进行排序,以读取 Ollama 运行的进程可访问的任意文件数据,并将这些数据泄露到攻击者控制的系统中。完成对“创建模型” API 请求的调用后,Ollama 将收集组成新创建的用户模型的许多工件,包括大型语言模型数据、许可证数据等,以及我们要提取的文件,所有这些都可以通过其 SHA256 内容进行寻址。这是我们要窃取的文件,在我们的示例中,是可通过运行 Ollama 的主机上的路径名访问的现有文本文件。值得注意的是,该模型配置为通过参数中的。

技术超强的网络安全平台 1648

目标检测 AP计算 (回顾)

基本概念 P-R曲线中,P为图中precision,即精准度,R为图中recall,即召回率。 Example 下面通过具体例子说明。 首先用训练好的模型得到所有测试样本的confidence score,每一类(如car)的confidence score保存到一个文件中(如comp1_cls_test_car.txt)。假设共有20个测试样本,每个的id,confidence score和ground truth label如下:​​ ground truth lab...

_yuki_ 2805

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

Detection:目标检测常用评价指标的学习总结(IoU、TP、FP、TN、FN、Precision、Recall、F1-score、P-R曲线、AP、mAP、 ROC曲线、TPR、FPR和AUC)

1. 第一部分介绍IoU这个指标的含义和计算方法。 2. 第二部分介绍TP、FP、TN、FN这四个指标的含义,以及在目标检测中的使用方法。 3. 第三部分介绍Accuracy、Precision、Recall、F1-score这四个指标的含义,以及在单类别和多类别下的计算方法。 4. 第四部分介绍P-R曲线、AP和mAP这个三个指标的含义和计算方法。 5. 第五部分介绍ROC曲线和AUC这个两指标的含义和计算方法。 6. 最后还最后还附上了yolov5计算指标代码的部分解释,并举例说明。详情参见附录。

目前涉及领域:目标检测,语义分割以及数字图像处理 1万+

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

目标检测指标AP笔记

mAP: mean Average Precision, 是多标签图像分类任务中的评价指标。 AP衡量的是学出来的模型在给定类别上的好坏,而mAP衡量的是学出的模型在所有类别上的好坏。 参考添加链接描述,写的很好 一 首先关注 TP\FP\FN\TN TP、FP、FN、TNTrue Positive (TP): ----正确地判定为正类 False Positive (FP): IoU<=阈值 的检测框数量,或者是检测到同一个 GT 的多余检测框的数量 -------错误地判定为正类 False N

RUN 924

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

mAP指标详解:【AP:特定IoU阈值下➔特定类别下(比如:猫)➔基于不同置信度阈值计算的P-R曲线下的面积】➔【mAP:所有类别的AP的平均值】➔【mAP50-95:所有IoU阈值的mAP的平均值】

真实情况 vs 预测结果:│ │ 预测为猫 │ 预测不是猫 ││ 真实是猫 │ TP (真阳性) │ FN (假阴性) ││ │ ✓ 预测对了 │ ✗ 漏检了 ││ 真实不是猫 │ FP (假阳性) │ TN (真阴性) ││ │ ✗ 误报了 │ ✓ 正确拒绝 │举例说明::图中有猫,模型也检测到了猫 ✓:图中没有猫,模型却说有猫 ✗:图中有猫,模型没检测到 ✗:图中没有猫,模型也没说有猫 ✓IoU (Intersection over Union) = 交集 / 并集。

u013250861的博客 998

深度学习mAP

mAP,其中代表P(Precision)精确率。AP(Average precision)单类标签平均(各个召回率中最大精确率的平均数)的精确率,mAP(Mean Average Precision)所有类标签的平均精确率。 1.准确率(accuracy)、精确率(Precision)、召回率(Recall) 准确率(accuracy),精确率(Precision)和召回率(Recall)是信...

Rain 1万+

Mask-RCNN检验结果计算mAP值

一、mAP值的计算 P:precision,即准确率 R:recall,即召回率 PR曲线:即以precison和recall作为纵,横轴坐标的二维曲线。 AP值:Average Precision,即平均精确度 mAP值:Mean Average Precision,即平均AP值,是多个验证集求平均AP True positives : 正样本被正确识别为正样本,飞机的图片被正确的识...

weixin_42618420的博客 8468

别再只盯着mAP了!手把手教你用Python代码画出目标检测的P-R曲线(附YOLO格式数据解析)

本文深入解析目标检测评估指标,教你用Python代码绘制P-R曲线并计算AP值,掌握YOLO格式数据解析方法。通过可视化分析准确率和召回率的关系,帮助开发者更全面地评估模型性能,避免过度依赖mAP单一指标。

weixin_30905133的博客 252

手写ROC与P-R曲线:从混淆矩阵到阈值滑动的底层实现

ROC曲线和Precision-Recall曲线是评估二分类模型性能的核心可视化工具,其本质源于混淆矩阵在不同决策阈值下的动态演化。ROC关注模型排序能力,以假正率(FPR)为横轴、真正率(TPR)为纵轴,对类别不平衡具有鲁棒性;P-R曲线则聚焦决策可靠性,以召回率(Recall)为横轴、精确率(Precision)为纵轴,在高不平衡场景下更具判别力。二者共同支撑AUC指标量化,广泛应用于风控、医疗、反欺诈等关键业务。本文基于numpy从零实现,完整覆盖双峰分布建模、sigmoid概率映射、排序驱动的阈值切

weixin_29574585的博客 343
学习编程的小白白
博客等级 码龄5年 1粉丝 1原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值