P-R曲线和ROC曲线

最新推荐文章于 2024-08-24 13:40:24 发布
最新推荐文章于 2024-08-24 13:40:24 发布
阅读量616 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/sdlypyzq/article/details/86677295
本文深入解析了机器学习中常用的评估指标，包括混淆矩阵、召回率、精度、准确率、P-R曲线、AP、ROC曲线、AUC、F1分数等，帮助读者全面理解模型性能的量化标准。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1 基本概念

1.1 混淆矩阵

混淆矩阵又称错误矩阵，指每个类别下，模型预测结果的类别和数量在一个矩阵中展示出来。

1.2 二元混淆矩阵

  • TP : True Positive 真阳
  • FN : False Negative 假阴
  • FP : False Positive 假阳
  • TN : True Negative 真阴
真实标签预测为正预测为负
真实为正TPFN
真实为负FPTN

1.2.1 召回 Recall

又称为 TPR （True Positive Rate）
或者 敏感度Sensitivity

通俗理解：真实为正的样本中识别为正的占比。

T P R = T P T P + F N TPR = \frac {TP} {TP+FN} TPR=TP+FNTP​

1.2.2 精度Precision

又称为PPV (Positive Predictive Value)

通俗理解：识别为正的样本中真实为正的占比。

P P V = T P T P + F P PPV=\frac{TP}{TP+FP} PPV=TP+FPTP​

1.2.3 准确率 Accuracy

通俗理解：所有样本中识别正确的比例。

a c c u r a c y = T P + T N T P + F N + F P + T N accuracy = \frac {TP+TN} {TP + FN + FP + TN} accuracy=TP+FN+FP+TNTP+TN​

1.3 P-R曲线 (精度-召回曲线) (Precision-Recall curve)

直观理解：阈值降低，召回率升高时，精度下降情况。

  • 横坐标：召回 Recall
  • 纵坐标：精度 Precision

1.4 AP 平均精度 （Average-Precision）

P-R曲线围起来的面积

mAP

把每个类别的AP都单独拎出来，然后计算所有类别AP的平均值 。

1.5 受试者工作特征曲线 （Receiver Operating Curve）

直观理解：阈值降低，假阳升高时，真阳升高情况。

  • 横轴：假阳率 FPR F P R = F P F P + T N FPR = \frac{FP} {FP + TN} FPR=FP+TNFP​
  • 纵轴：真阳率 TPR T P R = T P T P + F N TPR = \frac{TP} {TP + FN} TPR=TP+FNTP​

P 为真实的正样本的数量；
N 为真实的负样本的数量。

1.6 AUC (Area Under Curve)

ROC曲线围住的面积。
AUC就是从所有正样本中随机选取一个，所有负样本中随机选取一个，然后用分类器预测，概率分别为p1、p0，p1>p0的概率就等于AUC。所以AUC反应的是分类器对样本的排序能力。根据这个解释，如果我们完全随机的对样本分类，那么 AUC应该接近0.5。另外，AUC对样本是否均衡并不敏感，这也是不均衡样本通常用AUC评价分类器性能的一个原因。

1.7 F1 score

F 1 = 2 ∗ P r e c i s i o n ∗ R e c a l l P r e c i s i o n + R e c a l l F1 = \frac{2*Precision*Recall} {Precision + Recall} F1=Precision+Recall2∗Precision∗Recall​

参考资料

机器学习——P-R曲线和Roc曲线
Huang_Q_K的博客
10-31 2136
性能评估在机器学习中起着重要的作用，帮助我们理解和衡量模型的效果，并为模型选择、参数调优和特征选择提供指导，以达到更好的性能和预测能力。
目标检测任务的评估指标P-R曲线
最新发布
old_power的博客
06-04 1950
P-R曲线（Precision-Recall Curve） 是目标检测、图像分类等任务中常用的评估模型性能的工具之一。它通过展示 精确率（Precision） 和 召回率（Recall） 之间的关系来帮助我们理解模型的表现。
机器学习 | 模型评估方法（P-R曲线和ROC曲线）
m0_65437885的博客
10-23 1万+
机器学习模型的性能评估是至关重要的一部分。在分类问题中，我们通常希望了解模型的预测能力，也就是评估该模型对正类别和负类别的分类结果。PR曲线和ROC曲线是用于评估二分类模型性能的常用工具，通过在不同阈值下的精确度、召回率和真正率、假正率之间的权衡，评估模型的性能。
ROC曲线
工长山的专栏
10-05 1761
ROC曲线（Receiver Operating Characteeristic Curve）是显示Classification模型真正率和假正率之间折中的一种图形化方法。  解读ROC图的一些概念定义:：  真正（True Positive , TP）被模型预测为正的正样本  假负（False Negative , FN）被模型预测为负的正样本  假正（False Positiv
机器学习：关于P-R曲线和Roc曲线
qq_53866837的博客
11-05 5974
浅聊P-R曲线和Roc曲线
实现P-R曲线与ROC曲线的绘制
wodertianna的博客
05-01 758
P-R曲线与ROC曲线的基本计算方法和绘制过程，虽然在Python中有能够直接引用的包，但为了加强理解，本文自己从头实现了这两种曲线的绘制。
关于P-R曲线和Roc曲线的那些事
m0_61948412的博客
10-23 290
P-R曲线和ROC曲线是评价二元分类模型性能的重要指标，其中P-R曲线描述准确率和召回率之间的关系，而ROC曲线描述真正例率和假正例率之间的关系。通过模型预测得到每个样本属于正例的概率分数，然后根据不同的阈值将样本分类为正例和负例，最后连接这些点，得到P-R曲线和ROC曲线，从而比较不同模型的性能；在ROC曲线中，红色的点表示的是模型设置的最佳阈值对应的真正例率和假正例率。然后，我们可以根据不同的阈值计算出不同的真正例率和假正例率，并在坐标系中描绘出这些点，最后连接成曲线。
模型评估指标：P-R曲线和ROC曲线
海涛技术漫谈
03-19 1万+
在机器学习建模中，模型评估指标用于评估不同模型的优劣。 在分类任务中，最简单的评估指标莫过于错误率和精度了，错误率表示的是错误分类的样本个数占总样本个数的比例，精度则是1减去错误率。 错误率和精度的优点是：它们不仅仅适用于二分类问题，也同样适用于多分类问题。 但是单单看错误率和精度两个指标无法很好的对模型进行合适的评估。一方面，现在不少的模型最终都是预测一个类别的概率值，为了计算错误率和精度...
机器学习模型性能评估（二）：P-R曲线和ROC曲线
机器学习算法那些事
11-09 4710
上文简要介绍了机器学习模型性能评估的四种方法以及应用场景，并详细介绍了错误率与精度的性能评估方法。本文承接上文，继续介绍模型性能评估方法：P-R曲线和ROC曲线。 2.2 查准率、查全率与F1 错误率和精度虽然常用，但是不能满足特定的任务的需求。以西...
ROC曲线-阈值评价标准
热门推荐
Rachel Zhang的专栏
03-16 23万+
ROC曲线指受试者工作特征曲线 / 接收器操作特性曲线(receiver operating characteristic curve), 是反映敏感性和特异性连续变量的综合指标,是用构图法揭示敏感性和特异性的相互关系，它通过将连续变量设定出多个不同的临界值，从而计算出一系列敏感性和特异性，再以敏感性为纵坐标、（1-特异性）为横坐标绘制成曲线，曲线下面积越大，诊断准确性越高。在ROC曲线上，最靠近
Roc曲线
m0_37228052的博客
01-06 2万+
一、 应用场景 ROC曲线，也称受试者工作特征曲线，感受性曲线；ROC曲线最初是运用在军事上，当前在医学领域使用非常广泛，用于研究X对于Y的预测准确率情况。 案例： 雷达兵的任务在于监视雷达，观察是否有敌机来袭，当然如果有飞鸟来袭，也会出现信号，如果过于谨慎有信号就报告，会增加误报风险，但如果过于大胆，凡是信号都认为是飞鸟这会出现很大风险。ROC曲线正是解决此类问题，即用于尽最大可能研究敌机信号和飞鸟信号之间的区别，以增加预报准确性。 核心在于研究漏报和误报之间的概率分布情况，横坐标表示飞鸟信息不报
roc曲线
haozi的博客
03-26 1万+
ROC曲线和auc 维基百科上roc是受试者工作特征曲线 （receiver operating characteristic curve，简称ROC曲线），又称为感受性曲线（sensitivity curve）。得此名的原因在于曲线上各点反映着相同的感受性，它们都是对同一信号刺激的反应，只不过是在两种不同的判定标准下所得的结果而已。受试者工作特征曲线就是以假阳性概率（False positive...
ROC曲线【转】
weixin_30644369的博客
10-20 147
受试者工作特征曲线（receiver operating characteristic curve, 简称ROC曲线），又称为感受性曲线（sensitivity curve）。得此名的原因在于曲线上各点反应着相同的感受性，它们都是对同一信号刺激的反应，只不过是在几种不同的判定标准下所得的结果而已。接受者操作特性曲线就是以虚拟概率为横轴，击中概率为纵轴所成的坐标图，和被试在特定刺激条件下由于采用不同...
【机器学习】P-R（Precision-Recall Curve）曲线和ROC（Receiver Operating Characteristic）曲线的基本概念和区别
ya的博客
08-24 2832
P-R曲线是一个强大的工具，可以帮助研究者和工程师理解和优化分类模型的性能，尤其是在处理那些正类样本相对较少的数据集时TPRTPTPFNTPRTPFNTP​表示正确识别的正类样本占所有实际正类样本的比例P-R曲线：它显示了精确率（Precision）和召回率（Recall）之间的关系。精确率是正确预测为正类的样本占所有预测为正类样本的比例，而召回率是正确预测为正类的样本占所有实际为正类样本的比例ROC曲线。
机器学习之分类器性能指标之ROC曲线、AUC值
zdy0_2004的专栏
04-08 6万+
机器学习之分类器性能指标之ROC曲线、AUC值 http://www.cnblogs.com/dlml/p/4403482.html 分类器性能指标之ROC曲线、AUC值 一 roc曲线 1、roc曲线：接收者操作特征(receiveroperating characteristic),roc曲线上每个点反映着对同一信号刺激的感受性。 横轴：负正类率(false post
根据P-R曲线求AP
03-29
### 计算Precision-Recall曲线下方的平均精度（AP） 平均精度（Average Precision, AP）是衡量Precision-Recall曲线的一个重要指标，通常用来评估分类器在处理不平衡数据集时的表现。它表示的是Precision-Recall曲线下的面积大小。 #### 平均精度（AP）的定义 平均精度可以通过积分法或离散近似法来计算。具体来说： 1. **积分形式** 如果可以连续地获取Precision和Recall的变化，则可以直接通过积分的方式求解PR曲线下的面积： \[ AP = \int_{0}^{1} P(r) dr \] 这里 \(P(r)\) 表示给定召回率 \(r\) 下对应的精确率 \(P\) 值[^2]。 2. **离散近似形式** 实际应用中，通常是基于有限数量的数据点来估计AP。假设我们有多个不同的决策阈值，对应着一系列的\( (R_i, P_i) \)，其中 \( R_i \) 是召回率，\( P_i \) 是精确率。那么可以用梯形法则或其他数值积分方法估算该区域的面积。一种常见的做法如下所示： 对于每一个新的回忆值增加的情况，取当前以及之前最大的精准度作为高度进行加权平均： \[ AP = \sum_n (R_n - R_{n-1}) P_n \] 以下是实现上述公式的Python代码示例： ```python import numpy as np def compute_ap(recalls, precisions): """ Compute the average precision using the piecewise linear approximation method. Parameters: recalls (list or array): List of recall values sorted ascendingly. precisions (list or array): Corresponding list of precision values. Returns: float: Average Precision score. """ # Ensure that recalls and precisions are NumPy arrays recalls = np.array(recalls) precisions = np.array(precisions) # Sort by increasing order of recall indices = np.argsort(recalls) recalls_sorted = np.concatenate([[0], recalls[indices]]) precisions_sorted = np.maximum.accumulate(np.concatenate([[0], precisions[indices]])[::-1])[::-1][:-1] # Calculate differences between consecutive recall points delta_recalls = np.diff(recalls_sorted) # Multiply each difference with corresponding max precision value to get area contribution ap_score = np.sum(delta_recalls * precisions_sorted[:-1]) return ap_score ``` 此函数接受两个列表参数——`precisions` 和 `recalls`，分别代表不同阈值下得到的一系列精确率与召回率，并返回最终的AP分数。 #### 示例说明 假设有以下一组Precision和Recall值： | Recall | Precision | |--------|-----------| | 0 | 1 | | 0.3 | 0.8 | | 0.7 | 0.6 | 调用上面的方法即可获得相应的AP得分。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

张欣-男

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值