评价指标Precision（精度）和Recall（召回率）以及AP0.5、AP0.75、AP0.9的理解

最新推荐文章于 2024-08-07 15:46:04 发布
最新推荐文章于 2024-08-07 15:46:04 发布
阅读量7.6k 收藏 20
点赞数 6
文章标签： tensorflow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/writer666/article/details/115219652
版权

非常感谢原作者得文章让我对iou Precision（精度）和Recall（召回率）以及map有了更清晰得了解。
下文是我的一些理解，仅供自己做笔记使用
1.IOU的概念
IOU即交并比，也是预测框和真实框的比值，他的算法可如下图所示

在这里插入图片描述
2.TP TN FP FN的概念
T或者N代表的是该样本是否被分类分对，P或者N代表的是该样本被分为什么

TP（True Positives）意思我们倒着来翻译就是“被分为正样本，并且分对了”，TN（True Negatives）意思是“被分为负样本，而且分对了”，FP（False Positives）意思是“被分为正样本，但是分错了”，FN（False Negatives）意思是“被分为负样本，但是分错了”。

按下图来解释，左半矩形是正样本，右半矩形是负样本。一个2分类器，在图上画了个圆，分类器认为圆内是正样本，圆外是负样本。那么左半圆分类器认为是正样本，同时它确实是正样本，那么就是“被分为正样本，并且分对了”即TP，左半矩形扣除左半圆的部分就是分类器认为它是负样本，但是它本身却是正样本，就是“被分为负样本，但是分错了”即FN。右半圆分类器认为它是正样本，但是本身却是负样本，那么就是“被分为正样本，但是分错了”即FP。右半矩形扣除右半圆的部分就是分类器认为它是负样本，同时它本身

最低0.47元/天 解锁文章
家嘉佳
关注
目标检测 相关参数说明 IOU/AP/MAP
FREEDOM
10-25 4130
网上一些资料博客参差不齐，缺乏直观易懂的正确说明。希望这篇博文能够给大家一点帮助。 mAP历史 目标检测的mAP计算方式在2010年的voc上发生过变化，目前基本都是采用新的mAP评价标准。（我有个小疑问就是明明是2010年修改的，但是貌似现在大家都称这种计算方式为2012）所以你查到的有一些博客上记录的是之前的mAP评价标准。 但是，知乎上有一个回答，是完全错误的。而且很多评论已经指出来了，但是回答者一直没有修改。这个回答也曾经误导过我。目标检测中的mAP是什么含义？ - 许博雅的回...
Python编程：实现AUC计算（含完整代码）
与其临渊羡鱼,不如退而结网
04-22 2080
在机器学习领域中，AUC是一种常用的指标，用于衡量分类模型的预测能力。AUC又称为ROC曲线下面积，它的取值范围在0.5到1之间，越接近1则说明模型的性能越好。本文将会介绍如何使用Python编程计算AUC，并提供完整的源代码。以上示例中，我们假设测试集中共有5个样本，其中前三个样本为正例，后两个样本为负例。模型预测得分越接近1则表示该样本被预测为正例的概率越大。在使用该函数前，我们需要将测试集样本的真实标签值和模型的预测得分作为输入参数传入。以上就是Python编程计算AUC的方法，希望对您有所帮助！
AUC计算方法与Python实现
u014035615的博客
04-25 2万+
AUC计算方法与Python实现 -AUC计算方法 -AUC的Python实现方式 AUC计算方法 AUC是ROC曲线下的面积，它是机器学习用于二分类模型的评价指标，AUC反应的是模型对样本的排序能力。它的统计意义是从所有正样本随机抽取一个正样本，从所有负样本随机抽取一个负样本，当前score使得正样本排在负样本前面的概率。 AUC的计算主要以下几种方法： 计算ROC曲...
【机器学习】AUC计算（Python实现）
littlemichelle
10-19 3万+
目录 1、sklearn中计算AUC值的方法 2、编写函数实现 auc_calculate AUC理论请看【机器学习】POC & AUC 1、sklearn中计算AUC值的方法 from sklearn.metrics import roc_auc_score auc_score = roc_auc_score(y_truth,y_pred) y_pred即可以是类别，也可以是概率。 roc_auc_score直接根据真实值和预测值计算auc值，省略计算roc的过程。 .
python计算auc_python计算auc指标实例
weixin_39612720的博客
12-22 429
1、安装scikit-learn1.1Scikit-learn 依赖Python (>= 2.6 or >= 3.3),NumPy (>= 1.6.1),SciPy (>= 0.9).分别查看上述三个依赖的版本，python -V 结果：Python 2.7.3python -c 'import scipy; print scipy.version.version' sci...
万字长文精解目标检测中的TP、FP、FN、TN、Precision、Recall 、 F1 Score、AP、mAP与AR 。附代码实现。
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
05-16 7356
mAP（Mean Average Precision）是用于评估对象检测和信息检索系统性能的重要指标。它综合考虑了检测结果的精确度（Precision）和召回率（Recall），提供了一个整体的性能评价。你是否见过下面的表格？这是COCO版本的mAP（即平均精度，他们简称之为AP）。但这个指标到底代表什么呢？这些符号又都代表什么含义呢？在本文中，我们将详细讲解所有必要的理论知识，不仅帮助你解读表格中的数据，还能让你理解采用这种复杂指标的必要性。
神经网络中的评价指标：混淆矩阵、Acc, Precision, Recall, F1分数、mAP@0.5与mAP@0.5:0.95的含义
LIN2020LOVEDA的博客
08-07 2879
神经网络中的评价指标：混淆矩阵、Acc, Precision, Recall, AP, mAP、mAP@0.5与mAP@0.5:0.95的含义
YOLO算法：关于目标检测的评价指标（小白入门必读）
突然好想你
10-24 2240
目标检测评价指标是用来衡量目标检测算法性能的指标，主要包括几个指标：精确率（Precision）、召回率（Recall）、交并比（IoU）、平均精度（AP）和多个类别AP的平均值即mAP等等。本节课就给大家重点介绍下目标检测中的相关评价指标及其含义，希望大家学习之后能够有所收获！
ap 目标检测算法map_目标检测算法的评估指标：mAP定义及计算方式
weixin_34337134的博客
12-24 1779
前面依次介绍了：本节介绍目标检测算法的评估指标：mAP定义及计算方式mAP：mean Average Precision，平均精度均值，即AP(AveragePrecision)的平均值，它是目标检测算法的主要评估指标。目标检测模型通常会用速度和精度(mAP)指标描述优劣，mAP值越高，表明该目标检测模型在给定的数据集上的检测效果越好。在Tensorflow detection model zo...
计算AUC的Python实现
HackDashX的博客
09-04 431
AUC（Area Under the Curve）是机器学习中常用的性能评估指标之一，特别用于二分类问题中的模型评估。在本文中，我们将使用Python来实现计算AUC的功能。无论使用哪种方法，计算得到的AUC值都可以用于评估机器学习模型在二分类问题上的性能。除了使用现有的库函数，我们也可以手动实现AUC的计算方法。接下来，我们需要准备一些模型预测的概率值和对应的真实标签。总结起来，我们介绍了两种计算AUC的方法，一种是使用Scikit-learn库中的。运行以上代码，将会输出计算得到的AUC值。
AUC计算python实现
weixin_41888257的博客
12-16 1693
#!/usr/bin/env python # coding=utf-8 import numpy as np from sklearn.metrics import roc_curve from sklearn.metrics import auc def auc_calculate(labels,preds,n_bins=100): postive_len = sum(labels) negative_len = len(labels) - postive_len tota
机器学习评价指标 ROC与AUC 的理解和python实现
张渊猛的博客
08-15 2万+
本文所讲内容的前提是一个二分类的任务，多分类任务可以经过简单扩展用转化成二分类。 评估一个二分类的分类器的性能指标有：准确率、查准率（precision）、查全率（recall）、F1值以及ROC和AUC等。前面几个比较直观，而ROC和AUC相对抽象一点，本文将重点放在后者。因为本文曾一度没搞清ROC，所以这次彻底搞明白。 从混淆矩阵说起 首先一个用分类器预测完后，我们会得到一个二分类的混淆...
t分布f分布与样本均值抽样分布_T检验和其他假设检验的P值怎么理解
weixin_39629780的博客
11-21 2722
关于T检验以及各种假设检验的操作方法，网络上有很多详细讲解。今天我们不谈具体的步骤，而是通过案例全方面地将T检验的逻辑和思想，掰开揉碎，尝试用白话讲一步，增进大家的理解，不知知足欢迎指出讨论。案例：5年前，全国男性的平均身高是1.75米（普查得到的总体均值），现在我们想知道如今男性的平均身高是否发生了改变。思路：从全国男性群体中随机抽取1000名样本，获得样本均值和样本标准差，进行假设检验。此处需...
AUC详解与python实现
热门推荐
lieying的博客
07-28 4万+
AUC（Area under curve）是机器学习常用的二分类评测手段，直接含义是ROC曲线下的面积，如下图： 要理解这张图的含义，得先理解下面这个表： 表中列代表预测分类，行代表实际分类： 实际1，预测1：真正类（tp） 实际1，预测0：假负类（fn） 实际0，预测1：假正类（fp） 实际0，预测0：真负类（tn） 真实负样本总数=n=fp+tn 真实正样...
roc_auc_score函数
weixin_67609590的博客
05-19 4487
是用于计算二分类问题中 ROC 曲线下的面积（AUC）的函数。ROC（Receiver Operating Characteristic）曲线是一种以真阳性率（True Positive Rate, TPR）为纵坐标、假阳性率（False Positive Rate, FPR）为横坐标的曲线，用于评估二分类模型的分类效果。AUC 表示 ROC 曲线下的面积，其取值范围为 0 至 1，AUC 值越接近 1，说明模型的分类效果越好。
AUC的含义以及Python代码手动实现
samoyan的博客,记录技术成长~
10-14 936
主要以二分类为例，AUC曲线是ROC曲线下方的面积。ROC曲线的横坐标是假阳率，纵坐标是真阳率。 AUC 的计算 1）将所有正样本pos1,pos2,,,posm与所有负样本neg1,neg2,negn组成m*n样本对； 2）若正样本的预测概率大于负样本的预测概率，计数count增加1；若相等，计数count增加0.5，否则增加0； 3）AUC = count/m*n; import numpy as np from sklearn.metrics import roc_curve from
ROC/AUC曲线学习及Python实现
Joker 007的博客
10-06 2万+
参考博客：【机器学习笔记】：一文让你彻底理解准确率，精准率，召回率，真正率，假正率，ROC/AUC 一、准确率，精准率，召回率 1.TP、TN、FP、FN概念 P（Positive）：代表1 N（Negative）：代表0 T（True）：代表预测正确 F（False）：代表错误 以上四种情况可理解为： 先看 ①预测结果（P/N），再根据②实际表现对比预测结果，给出判断结果（T/F）。 如： TP： 预测为1，预测正确，即实际1 FP： 预测为1，预测错误，即实际0 FN： 预测为0，预测错误，即实际1
python中fit和score_python – 与roc_auc_score()和auc()不同的结果
weixin_39611070的博客
12-09 615
AUC并不总是ROC曲线下的面积.曲线下面积是某个曲线下的(抽象)区域,因此它比AUROC更通用.对于不平衡类,最好找到精确回忆曲线的AUC.请参阅sklearn source for roc_auc_score：def roc_auc_score(y_true, y_score, average="macro", sample_weight=None):# docstring def _bin...
AP精度
最新发布
04-03
### 平均精度 (Average Precision, AP) 的概念与计算 #### Average Precision (AP) 的定义 平均精度是一种用于评估分类器性能的指标，特别是在信息检索和目标检测领域中广泛应用。它衡量的是在不同阈值下模型的精确度（Precision）表现如何随着召回率（Recall）变化的趋势。 具体来说，AP 是通过计算多个不同的召回率水平下的精确度并取加权平均值得到的结果[^1]。这种权重通常由相邻两个召回率之间的差值决定。 #### AP 的计算方法 对于二分类问题或者多标签分类中的单个类别而言，可以按照以下方式来计算 AP： 1. **排序预测结果** 首先根据模型给出的概率分数对测试集样本进行降序排列。 2. **逐步计算 Precision 和 Recall** 对每一个正类别的实例位置 i，分别统计前 i 个样本中有多少个真正例，并据此计算当前时刻的 precision \( P(i) \) 和 recall \( R(i) \)[^3]。 \[ P(i) = \frac{\text{True Positives at rank } i}{\text{i}} \] \[ R(i) = \frac{\text{True Positives at rank } i}{\text{Total True Positives}} \] 3. **插值法求解 AP 值** 使用一种称为“十一级插值”的方法，在固定的回忆率点上找到对应的最高精确率作为该点上的贡献值。最终将这些固定点处得到的最大精确率相加以获得整个曲线下面围成区域大小即为 AP 值[^2]: \[ AP = \sum_{r=0}^{1} (\max(P(r))) * dR \] 这里 \(dR\) 表示每一步增加的小量回忆率增量，默认情况下可设为 0.1 单位间隔。 另外还有一种简化形式适用于连续型数据分布情形，则直接采用积分近似代替离散累加操作: \[ AP = \int_0^1 P(R)\;dR \] 这实际上代表了 PR 曲线底边所覆盖总面积的一部分比例关系。 #### 应用场景 - **信息检索**: 在搜索引擎优化过程中用来判断某个查询返回的相关文档质量好坏程度； - **图像识别&物体侦测**: 如 COCO 数据集中广泛使用的评价标准之一便是基于此类原理构建而成——mAP@IoU(Intersection over Union)，表示针对特定交并比门限条件下各类别综合得分情况汇总后的总体表现指数； - **推荐系统**: 测定用户可能感兴趣项目列表里实际点击次数占比高低趋势走向等等多种场合均有涉及此技术手段的应用实践案例存在。 ```python def compute_ap(recalls, precisions): """ Compute the average precision from lists of recalls and precisions. Args: recalls: List[float], sorted ascendingly between [0, 1]. precisions: List[float], corresponding to each recall value. Returns: float, representing computed AP score. """ ap_sum = 0.0 prev_recall = 0.0 for r_idx in range(len(recalls)): max_precision_for_r = max(precisions[r_idx:]) delta_recall = recalls[r_idx] - prev_recall ap_sum += max_precision_for_r * delta_recall prev_recall = recalls[r_idx] return round(ap_sum, ndigits=4) # Example Usage example_recalls = [0., 0.1, 0.2, 0.4, 0.6, 0.8, 1.] example_precisions = [1., 0.9, 0.75, 0.6, 0.5, 0.4, 0.3] print(compute_ap(example_recalls, example_precisions)) # Output should be close to ~0.525 ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值