再理解下ROC曲线和PR曲线

最新推荐文章于 2025-04-07 21:09:57 发布
转载 最新推荐文章于 2025-04-07 21:09:57 发布 · 1.8k 阅读 · 1

本文详细解析了ROC曲线与Precision-Recall曲线的由来、原理及计算方法，包括它们在分类和检测任务中的应用。重点讨论了如何通过ROC曲线的面积（AUC）衡量分类结果的质量，并介绍了在不同阈值下的TPR和FPR关系。此外，文章还阐述了Precision-Recall曲线的原理，以及如何通过排序决策结果来构建此类曲线。最后，简要概述了AUC的计算方法，提供了一种近似采样的计算方式。

转自：http://www.zhizhihu.com/html/y2012/4076.html

       大家都发表下对着俩曲线的理解吧。

       分类、检索中的评价指标很多，Precision、Recall、Accuracy、F1、ROC、PR Curve......

一、历史

       wiki上说，ROC曲线最先在二战中分析雷达信号，用来检测敌军。诱因是珍珠港事件；由于比较有用，慢慢用到了心理学、医学中的一些检测等应用，慢慢用到了机器学习、数据挖掘等领域中来了，用来评判分类、检测结果的好坏。

       百科：ROC曲线指受试者工作特征曲线(receiver operating characteristic curve), 是反映敏感性和特异性连续变量的综合指标,是用构图法揭示敏感性和特异性的相互关系，它通过将连续变量设定出多个不同的临界值，从而计算出一系列敏感性和特异性，再以敏感性为纵坐标、（1-特异性）为横坐标绘制成曲线，曲线下面积越大，诊断准确性越高。在ROC曲线上，最靠近坐标图左上方的点为敏感性和特异性均较高的临界值。

二、原理

       这里就拿最经典的二分类（0、1）问题讨论吧，分类器分类之后，往往会得到对每个样本是哪一类的一个估计，像是LR模型就会将这个估计规范化到【0,1】，根据这个估计，你选择一个阈值p_0，就可以将分类结果映射到0,1了；分类效果好不好跟真实的label比比就行了。

       所以你手里有decision和label两个向量，用来做分类结果的评估。


       要看ROC的原理，总离不开上面这个表格，ROC绘制的就是在不同的阈值p_0下，TPR和FPR的点图。所以ROC曲线的点是由不同的p_0所造成的。所以你绘图的时候，就用不同的p_0采点就行。

       Precision-Recall曲线，这个东西应该是来源于信息检索中对相关性的评价吧，precision就是你检索出来的结果中，相关的比率；recall就是你检索出来的结果中，相关的结果占数据库中所有相关结果的比率；所以PR曲线要是绘制的话，可以先对decision进行排序，就可以当作一个rank值来用了，然后把分类问题看作检索问题，当返回一个结果的时候的PR pair是多少，2个、3个、一直到你所有的检测样本都包含；所以假设你的测试样本有100个，是不是会返回100个precision-recall点呢？然后把这些点绘制出来，就得到了PR曲线；所以，PR曲线的采点是按照样本的数量采的。注意，这一条PR曲线的绘制只对应一个p_0值，所以往往先选择最优的p_0，再绘制不同model的PR曲线，比较model的优劣。

       可以看出TPR和Recall的形式是一样的，就是查全率了，FPR就是保证这样的查全率你所要付出的代价，就是把多少负样本也分成了正的了。

上面是我的理解，不知道对不对。

三、AUC的计算

        为了更好的衡量ROC所表达结果的好坏，Area Under Curve（AUC）被提了出来，简单来说就是曲线右下角部分占正方形格子的面积比例；那么计算这个东西其实就很简单了，根据reference的paper，有很多很多计算方法，这里推荐一种近似采样的方法：采样。

       你的分类器能够将正例排在负例前面的概率是多少，也就是采样中正例的decision>负例的decision的概率。

 

机器学习之类别不平衡问题 (2) —— ROC和PR曲线
massquantity的博客
03-17 4954
机器学习之类别不平衡问题 (1) —— 各种评估指标 机器学习之类别不平衡问题 (2) —— ROC和PR曲线 完整代码 ROC曲线和PR（Precision - Recall）曲线皆为类别不平衡问题中常用的评估方法，二者既有相同也有不同点。本篇文章先给出ROC曲线的概述、实现方法、优缺点，再阐述PR曲线的各项特点，最后给出两种方法各自的使用场景。 ROC曲线 ROC曲线...
PR曲线与ROC曲线
m0_63495443的博客
10-23 669
2.ROC曲线的两个指标， TPR的分母是所有正例，FPR的分母是所有负例，故都不依赖于具体的类别分布。在类别不平衡的背景下，当负例N的数量远超正例P时，FP的大幅增长只能换来FPR的增长不明显，导致ROC曲线呈现一个过分乐观的效果估计。PR曲线常被用在信息提取领域，同时当我们的数据集中类别分布不均衡时我们可以用PR曲线 代替。就是ReCall召回率，假阳率，即将负例错误的预测为正例占所有预测为负例的占比。PR曲线就是在以上的基础上选取不同的阈值得到不同的点连线而成。，R为recall即。
Bobo老师机器学习笔记第九课-PR曲线和ROC曲线
夜深人静后的码农
12-10 794
在上篇文章中，我们已经概述了PR曲线。现在做个简单的回归 1、什么是PR曲线？  PR曲线是精准率（Precision）和召回率（Recall）的缩写， 精准率表示在预测的关注事件中，其中预测正确的有多少。  Precision = TP / (TP + FP) 召回率表示在实际的关注事件中，正确预测出来了有多少。 Recall = TP / (FN + TP) 然后以recall为...
机器学习----PR曲线和ROC曲线
Srrrrrrr_的博客
10-23 3784
PR曲线是以这两个为变量而做出的曲线，其中recall为横坐标，precision为纵坐标。
ROC曲线及PR曲线
qq_62541359的博客
10-23 1409
跟TPR和FPR不一样的是，在PR关系中，是一个此消彼长的关系，但往往我们希望二者都是越高越好，所以PR曲线是右上凸效果越好（也有例外，有比如在风险场景当预测为1实际为0时需要赔付时，大致会要求Recall接近100%，可以损失Precision）。绘制图线同样的道理，我们要产生随机的概率，表示每个样本例子为正例的概率，然后通过这些概率进行从大到小的排序，再按此顺序逐个样本的选择阈值，大于阈值的概率的样例为正例，后面的全部为反例。ROC曲线和PR曲线的形状和性能评估指标是相关的，但并不完全相同。
机器学习——ROC曲线、PR曲线
TXQIHYJ的博客
10-20 3195
目录背景介绍ROC曲线介绍深入ROC曲线的主要用途及其优点补充PR曲线介绍深入使用场景ROC曲线和PR曲线关系具体实现ROC曲线的实现PR曲线的实现实验总结ROC曲线（receiver operating characteristic）是一种对于灵敏度进行描述的功能图像，又称为感受性曲线（sensitivity curve。ROC曲线可以通过描述真阳性率（TPR）和假阳性率（FPR）来实现。由于是通过比较两个操作特征（TPR和FPR）作为标准，ROC曲线也叫做相关操作特征曲线。
ROC曲线和PR曲线
qq_54915934的博客
11-02 371
在PR曲线中，以Recall（为x轴，Precision为y轴。在ROC曲线中，以FPR为x轴，TPR为y轴，FPR指实际负样本中被错误预测为正样本的概率。伪反例(False Positive): 指错误分类为正的样本数，实际为负，预测为正。伪反例(False Negative):指错误分类为负的样本数，实际为正，预测为负。真正例(True Positive)：指正确分类成为正的样本数，实际为正，预测为正。真反例(True Negative):指正确分类为负的样本数，实际为负，预测为负。
用简单实例理解ROC曲线和PR曲线
Scanf_void_he的博客
10-30 706
用实际例子的应用理解P-R曲线和ROC曲线的原理
深度学习中ROC曲线和PR曲线及引申的相关知识
weixin_41714523的博客
05-04 1557
接受者操作特性曲线（receiver operating characteristic curve，简称ROC曲线），又称为感受性曲线（sensitivity curve）。得此名的原因在于曲线上各点反映着相同的感受性，它们都是对同一信号（代表第二章的阈值）刺激的反应，只不过是在几种不同的判定标准下所得的结果而已。接受者操作特性曲线就是以虚惊概率为横轴，击中概率为纵轴所组成的坐标图，和被试在特定刺激条件下由于采用不同的判断标准得出的不同结果画出的曲线 [1]。
机器学习模型评估：PR 曲线与 ROC 曲线
2401_87271865的博客
04-07 2503
True Positive（真正例）：模型正确地将正例分类为正例。False Positive（假正例）：模型错误地将负例分类为正例。False Negative（假反例）：模型错误地将正例分类为负例。True Negative（真反例）：模型正确地将负例分类为负例。PR 曲线和 ROC 曲线是机器学习模型评估中不可或缺的工具。它们从不同的角度展示了模型的性能，为我们提供了全面了解模型表现的途径。
机器学习：PR曲线以及ROC曲线
Hapless1的博客
10-22 1457
其中，真正例表示模型正确地将样本分类为正类，假正例表示模型错误地将样本分类为正类，真反例表示模型正确地将样本分类为负类，假反例表示模型错误地将样本分类为负类。PR 曲线（Precision-Recall curve）主要关注的是模型在正例预测方面的性能，它将模型的精度（Precision）和召回率（Recall）之间的关系展示出来。精度越高，模型预测的正类样本中真正例的比例就越大，当精度为1时，表示所有被预测为正类的样本都是真正例，即没有假正例存在。假阳性率（FPR）表示模型将负样本错误分类为正类的比例。
ROC曲线以及PR曲线
ZP745210的博客
10-23 1397
PR曲线和ROC曲线都是在评估二分类模型（分类器）时常用的工具，用于显示模型的性能和有效性。：是一种用于评估二分类模型性能的曲线，横坐标为召回率（Recall），纵坐标为精确度（Precision）。精确度是指模型预测为正样本的样本中真实为正样本的比例，召回率是指真实为正样本的样本中被模型正确预测为正样本的比例。通过对不同阈值下的精确度和召回率进行绘制，可以得到PR曲线。
ROC曲线与PR曲线
m0_73707081的博客
04-16 3281
PR曲线（Precision-Recall curve）是另一种评估分类模型性能的工具，通常用于处理不平衡数据集或关注于正类别（少数类别）的分类问题。在PR曲线中，横轴表示召回率（Recall），纵轴表示精确率（Precision）。召回率是指被模型正确识别为正类别的样本数占所有真实正类别样本数的比例，精确率是指被模型正确识别为正类别的样本数占所有模型判定为正类别的样本数的比例。
机器学习-pr曲线，roc曲线
lildn的博客
03-27 390
模型评价指标 0. 加载相关模块 import numpy as np import matplotlib.pyplot as plt import pandas as pd import seaborn as sns from sklearn.model_selection import train_test_split # 用于在jupyter中进行绘图 %matplotlib inline 1. 数据加载 # 加载数据集 fruits_df = pd.read_table('fruit_data_w
ROC曲线与PR曲线对比
bitcarmanlee的博客
03-11 3998
1.ROC曲线 TPR=TPP=TPTP+FNTPR = \frac{TP}{P} = \frac{TP}{TP + FN}TPR=PTP​=TP+FNTP​ FPR=FPN=FPFP+TNFPR = \frac{FP}{N} = \frac{FP}{FP + TN}FPR=NFP​=FP+TNFP​ ROC曲线的纵坐标为TPR，真正率，其实也是召回率。分母为所有实际正样本。 ROC曲线的纵坐标为FPR，假正率，是预测错误的负样本(实际为负样本，预测成正样本，所以分子是FP)在所有实际负样本中的占比。 RO
机器学习实验三之——ROC与PR曲线
热门推荐
m0_63916929的博客
10-23 1万+
ROC曲线（Receiver Operating Characteristic Curve）是用来评估二分类模型性能的一种常见方法。它是基于分类模型对不同阈值下的预测结果进行排序，并计算真正率（True Positive Rate，即召回率）和假正率（False Positive Rate）之间的关系而得到的曲线。真正率指分类器在所有实际为正例中正确预测为正例的比例，可以通过以下公式计算： 真正率 = TP / (TP + FN)
【机器学习】ROC曲线和PR曲线
最新发布
so_handsome_boy_的博客
04-07 1157
ROC曲线（Receiver Operating Characteristic Curve）和PR曲线（Precision-Recall Curve）是评估二分类模型性能的常用工具，尤其在样本分布不平衡时表现不同特点。1. ROC曲线（Receiver Operating Characteristic Curve）定义ROC曲线是一种用于评估二分类模型性能的图形化工具，它通过绘制**真正例率（TPR, True Positive Rate）和。
roc曲线和pr曲线
03-12
### ROC曲线与PR曲线的概念 #### ROC曲线概念 ROC曲线是由一系列阈值下（伪阳性率，真阳性率）构成的一系列坐标点连接而成的图形[^3]。该曲线位于二维坐标系中，其中横轴代表假正类率(FPR)，即 \( FPR = 1 - TNR \) 或者说 \( 1 - Specificity \)；而纵轴则表示真正类率(TPR)，也被称为敏感度(Sensitivity)或者召回率(Recall)。 #### PR曲线概念 PR曲线同样基于不同的决策阈值绘制，在此情况下关注的是精确率(Precision)和召回率(Recall)之间的关系。对于每一个可能的分类置信度阈值，可以计算出一组对应的Precision和Recall值并以此来构建这条曲线[^2]。 ### 曲线间的区别 主要体现在以下几个方面： - **衡量标准的不同** - 对于ROC而言，其考量的是FPR与TPR的变化趋势； - 而PR更侧重于Precision相对于Recall的表现情况。 - **适用范围上的差异** - 当数据集类别分布较为均衡时，两者都能很好地反映模型性能； - 若遇到极端不平衡的数据集，则PR往往能提供更加直观有效的评价视角，因为此时高比例的负样本可能导致极低的FPR即使在大量误报的情况下也能保持较低水平，从而使得ROC曲线下面积(AUC)显得过高估计了模型的真实效能。 - **视觉表现形式** - ROC通常会有一个固定的起点(0,0)和终点(1,1)，并且理想状态下应该尽可能向左上方弯曲接近完美分类器的位置； - 反之，PR曲线不会固定经过特定位置，并且当存在较多噪声或难以区分的例子时可能会呈现出复杂的形态变化[^1]。 ### 应用场景的选择依据 选择使用哪种类型的图表取决于具体的应用背景和个人偏好: - 如果希望获得一个不受类别先验概率影响的整体性能概览，那么可以选择查看AUC-ROC作为参考指标之一； - 在面对高度偏斜的数据集或是特别关心减少错误肯定案例数量的情形下，PR图能够更好地突出那些能够在维持较高查准率的同时达到良好覆盖能力的算法版本。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值