机器学习模型性能评估(二):P-R曲线和ROC曲线

模型评估指标:P-R曲线和ROC曲线 在机器学习建模中,模型评估指标用于评估不同模型的优劣。 在分类任务中,最简单的评估指标莫过于错误率和精度了,错误率表示的是错误分类的样本个数占总样本个数的比例,精度则是1减去错误率。 错误率和精度的优点是:它们不仅仅适用于二分类问题,也同样适用于多分类问题。 但是单单看错误率和精度两个指标无法很好的对模型进行合适的评估。一方面,现在不少的模型最终都是预测一个类别的概率值,为了计算错误率和精度... 阅读详情

上文简要介绍了机器学习模型性能评估的四种方法以及应用场景,并详细介绍了错误率与精度的性能评估方法。本文承接上文,继续介绍模型性能评估方法:P-R曲线和ROC曲线。

                                                                         2.2 查准率、查全率与F1


错误率和精度虽然常用,但是不能满足特定的任务的需求。以西瓜问题为例,假定瓜农拉来一车西瓜,我们用训练好的模型对这些西瓜进行判别。

错误率衡量有多少比例的瓜被判别错误,但是若我们关心的是“挑出的西瓜中有多少比例是好瓜”,或者“所有好瓜中有多少比例被挑选了出来”。

这两类问题分别对应查准率和查全率,错误率是反映不了这两类问题。

例如在信息检索中,我们经常会关心“检索出的信息中有多少比例是用户感兴趣的”,“用户感兴趣的信息中有多少被检索出来的”;在视频监控中,我们关注的是“人脸识别的罪犯中有多少比例是真的罪犯”,“所有罪犯中有多少比例被识别出来”。

错误率计算较笼统,查准率和查全率是更为适用于此类需求的性能度量。查准率关注的问题是筛选的样本中是正样本的比例,查全率关注的问题是筛选的样本中有多少比例的正样本被筛选出来。

混淆矩阵是计算查准率和查全率或其他模型性能评估方法的基础。

混淆矩阵定义:

                                                              

TP:真正例(true positive),即真实结果和预测结果都是正例。

FP:假正例(false positive),即真实结果是反例、预测结果是正例。

TN:真正例(true negative),即真实结果和预测结果都是反例。

FN:假反例(false negative),即真实结果是正例、预测结果是反例。

查准率P(Precision)与查全率R(Recall)分别定义为:

                                                                                 

查准率与查全率是一对矛盾的度量,我们可以用极端的方式去理解这一矛盾。若所有测试样本的分类结果都是正样本,那么模型的查全率为1,查准率就很低;若几乎所有测试样本的分类结果都是负样本,那么模型的查准率很高,查全率就很低。

很多情形下,学习模型对测试数据输出的结果是具体的数值,如逻辑斯谛克生成模型P(Y=1|X),表示输入变量X输出为正样本的概率,曲线图如下:

                                                         

因此,学习模型P(Y=1|X)对测试数据集输出一系列为正样本的概率,根据概率由大到小排列,然后依次设置阈值,若大于该阈值,则为正样本;反之则为负样本。每次阈值的设置都有对应的查准率和查全率,因此以查全率为横坐标,查准率为纵坐标,就可以得到查准率-查全率曲线,检测“P-R”曲线。

假设测试数据集D样本量为m,

P-R曲线流程图如下:

                                   

P-R曲线图如下:

                                                                          

根据P-R曲线来评估模型的性能:

(1)若一个学习模型的P-R曲线完全包住另一个学习模型的P-R曲线,则前者的性能优于后者。即查全率相同的情况下,查准率越高模型的泛化性能越好,如模型A优于模型B。

(2)若两个学习模型的P-R曲线互相交叉,则可通过“平衡点”(Break-Event Point,简称BEP)来评价模型的优劣,BEP是“查准率=查全率”的数值。由上图可知,模型A的平衡点大于模型B的平衡点,即模型A优于B。

(3) 由于BEP过于简化,更常用的是F1度量:

                                                          

F1越大,性能越好。

(4) F1度量认为查全率和查准率的重要性程度一样,若考虑到查全率和查准率的重要性程度不一样,如推荐给用户的信息尽可能是用户感兴趣的,那么查准率更重要;抓捕逃犯时更希望尽可能少漏掉逃犯,此时查全率更重要(概念有点模糊的可以参考查准率和查全率公式)。

为了描述查准率和查全率的相对重要程度,则用F1度量的一般形式:Fβ。

                                                                   

其中,β> 0度量了查全率对查准率的相对重要性,β=1时退化为标准的F1;β>1时查全率更重要;β<1时查准率更重要。

 

2.3  ROC曲线与AUC

P-R曲线是从查准率和查全率的角度去衡量学习模型的泛化性能,ROC曲线则是从更一般的情况下去衡量学习模型的泛化性能,若没有任何先验条件的限制情况下,推荐用ROC曲线去衡量模型的泛化性能。

绘制ROC曲线的思想与P-R曲线一致,对学习模型估计测试样本为正样本的概率从大到小排序,然后根据概率大小依次设置阈值,认为大于阈值的测试样本为正样本,小于阈值的测试样本为负样本,每一次阈值设置都计算“真正例率”(True Positive Rate,简称TPR)和“假正例率”(False Postive Rate,简称FPR)。

TPR和FPR的定义如下:

                                                                              

TP,FP,TN,FN的定义可参考上节的混淆矩阵。

ROC曲线横坐标为假正例率,纵坐标为真正例率,曲线图如下:

                                                                    

本文对ROC曲线的首末两点进行解释:

测试数据集包含N例正样本和M例负样本,若阈值设置的最大,则学习模型对所有测试样本都预测为负样本,混淆矩阵如下:

                                                    

TPR = TP/( TP + FN) = 0/(0+N) = 0;

FPR = FP/( TN + FP) = 0/(0+M) = 0;

因此,当阈值设置最大时,TPR与FPR均为0。

若阈值小于所有模型估计测试样本为正样本的数值时,则测试样本均为正样本,混淆矩阵如下:

                                                      

TPR = TP/(TP+FN) = N/(N+0) = 1;

FPR = FP/(TN+FP) = M/(M+0) = 1;

因此,当阈值设置最小时,TPR与FPR均为1。

AUC(Area Under Curve)为ROC曲线的面积,面积可以通过梯度面积法求解。

                                                                    

AUC的计算表达式理解起来有点别扭,假设正负样本数均为m例,大家回想下ROC曲线的算法思想,假正例率对应的是真实负样本中分类结果为正样本的比例,真正例率对应的是真实正样本中分类为正样本的比例。

假正例率和真正例率的增长性具有互斥性,每次都只能增加一个,且每次增加的梯度为1/m,横坐标和纵坐标共增加了m次。

理解了这个原理,相信对ROC曲线的绘制和AUC面积的计算应该有更深的认识了吧。

AUC是衡量模型泛化能力的一个重要指标,若AUC大,则分类模型优;反之,则分类模型差。想象一下,若假正例率不变的情况下,真正例率越大,对应的AUC也越大,则模型的泛化能力强,这与实际情况相符。

参考资料:

《机器学习》周志华 著

                                                                         

 

机器学习——P-R曲线和Roc曲线 性能评估在机器学习中起着重要的作用,帮助我们理解和衡量模型的效果,并为模型选择、参数调优和特征选择提供指导,以达到更好的性能和预测能力。 阅读详情

相关推荐

模型评估方法以及评估指标——准确率、精确率、召回率以及P-R曲线和ROC曲线介绍

模型评估方法以及评估指标介绍前言一、准确率、精确率、召回率1.1 准确率(Accuracy)1.2 精确率(Precision)1.3 召回率(Recall)二、P-R曲线和ROC曲线2.1 P-R曲线2.2 ROC曲线三、模型评估验证方法3.1 Holdout检验3.2 交叉检验3.3 自助法 前言 ”没有测量,就没有科学“ 在机器学习中,只有选择与问题相匹配的评估方法,才能快速地发现模型选择或训练过程中出现的问题,迭代地对模型进行优化。模型评估主要是离线评估和在线评估两个阶段,本文整理了常见的模

qq_42600675的博客 1万+

机器学习 | 模型评估方法(P-R曲线和ROC曲线)

机器学习模型的性能评估是至关重要的一部分。在分类问题中,我们通常希望了解模型的预测能力,也就是评估该模型对正类别和负类别的分类结果。PR曲线和ROC曲线是用于评估二分类模型性能的常用工具,通过在不同阈值下的精确度、召回率和真正率、假正率之间的权衡,评估模型的性能。

m0_65437885的博客 1万+

深入理解ROC曲线的定义以及绘制ROC曲线过程,其与模型性能的关系,以及AUC

深入理解ROC曲线的定义以及绘制ROC曲线过程,其与模型性能的关系,以及AUC 很多学习器是为测试样本产生一个实值或者是概率预测,然后将这个预测值和一个分类阈值(threshold)进行比较。若大于阈值,则为正类;反之为负类。根据这个学习器计算出来得预测值,我们可以将测试样本进行排序,“最可能”是正例的放在最前面,“最不可能”是正例的排在最后面,这样分类过程就相当于在这个排序中的某个”截断点”(cut point)将样本呢分为两类,前一部分为正例,后一部分为反例。 前面有precision和recall,可

谦卑 4万+

机器学习 - 模型评估(TPR、FPR、K1、ROC、AUC、KS、GAIN、LIFT、GINI、KSI)

1. 混淆矩阵 一个二分类模型,是对现实情况的一种预测。如病例(阴性/阳性、有病/没病)、邮件(垃圾邮件/非垃圾邮件)等。以病例为例,对于一个患者,存在着有病/没病两种结果。对于医生的诊断,也存在着有病/没病两种结果。将医生的诊断结果与患者的实际情况对比,则得出四种结果: 诊断为有病,实际上确实有病,称为真阳性(TP) 诊断为有病,实际上却没病,称为伪阳性(FP) 诊断为没病,实际上确实没病,称为真阴性(TN) 诊断为没病,实际上却有病,称为伪阴性(FN) 将上面的四种结果,可以绘制成一个2x..

Jeffy_Beh的博客 1万+

PR曲线和F1、ROC曲线和AUC

最近阅读机器学习,在评估学习器的性能时,书中提到了P、R、F1值度量和ROC曲线和AUC值度量。P、R、F1 预测结果 正例 反例 真实情况 正例 TP(真正例) FN(假反例) 反例 FP(假正例)

teminusign的博客 2万+

机器学习模型评估与预测

模型评估与预测1.1经验误差与过拟合1.2 评估方法1.2.1留出法(hold-out)1.2.2交叉验证法1.2.3 自助法1.3性能度量1.3.1 查准率,查全率与F1 1.1经验误差与过拟合 定义几个概念: ⋅\cdot⋅ 错误率(error rate) E=amE=\frac{a}{m}E=ma​ 其中a表示样本分类错误数,m是样本总数 ⋅\cdot⋅ 精度(accuracy)为1−am1...

qimingxia的博客 1万+

机器学习:关于P-R曲线和Roc曲线

浅聊P-R曲线和Roc曲线

qq_53866837的博客 6143

R语言绘制ROC曲线图

受试者工作特征曲线(ROC曲线),最初作为一种分析方法在二战时用于评价雷达性能(鉴别敌方,友方以及噪音),目前广泛应用于医学诊断、生物信息学、数据挖掘和机器学习等研究中。 ROC曲线可用于评价生物标记物(biomarker)的表现以及比较不同打分方法(scoring methods)。因此,ROC曲线是非常重要和常见的统计分析方法,下面我们就用两种方法绘制ROC曲线图吧~ part 1:pROC绘制ROC曲线 1.下载pROC包和ggplot2包 BiocManager::install("pROC") B

weifanbio的博客 1万+

【模型评估 02】ROC曲线

ROC曲线是Receiver Operating Characteristic Curve 的简称,中文名为“受试者工作特征曲线”。ROC曲线源于军事领域,而后在医学领域应用甚广,“受试者工作特征曲线”这一名称也正是来自于医学领域。ROC曲线的横坐标为假阳性率(False Positive Rate, FPR纵坐标为真阳性率(True Positive Rate, TPR)。FPR和TPR的计算方法分别为。

weixin_55252589的博客 1937

【机器学习】P-R(Precision-Recall Curve)曲线和ROC(Receiver Operating Characteristic)曲线的基本概念和区别

P-R曲线是一个强大的工具,可以帮助研究者和工程师理解和优化分类模型的性能,尤其是在处理那些正类样本相对较少的数据集时TPRTPTPFNTPRTPFNTP​表示正确识别的正类样本占所有实际正类样本的比例P-R曲线:它显示了精确率(Precision)和召回率(Recall)之间的关系。精确率是正确预测为正类的样本占所有预测为正类样本的比例,而召回率是正确预测为正类的样本占所有实际为正类样本的比例ROC曲线。

ya的博客 3728

PR曲线,ROC曲线和AUC的区别

参考资料: https://www.cnblogs.com/pinard/p/5993450.html https://blog.youkuaiyun.com/dinosoft/article/details/43114935 https://blog.youkuaiyun.com/qq_16365849/article/details/52702412 True Positive, TP: 预测为正样本,实际也为正样本...

Meggie的博客 1万+

P-R曲线与ROC曲线使用总结

P-R曲线与ROC曲线总结 作者:jliang https://blog.youkuaiyun.com/jliang3 1.P-R曲线 1)实际预测时二分类的四种情况 真阳性/真正类(True Positive,TP):预测为正类,实际是正类; 假阳性/假正类(False Positive,FP):预测为正类,实际是负类;误报,给出的匹配是不正确的; 真阴性/真负类(Tr...

jliang3的博客 7184

机器学习——ROC曲线、PR曲线

目录背景介绍ROC曲线介绍深入ROC曲线的主要用途及其优点补充PR曲线介绍深入使用场景ROC曲线和PR曲线关系具体实现ROC曲线的实现PR曲线的实现实验总结ROC曲线(receiver operating characteristic)是一种对于灵敏度进行描述的功能图像,又称为感受性曲线(sensitivity curve。ROC曲线可以通过描述真阳性率(TPR)和假阳性率(FPR)来实现。由于是通过比较两个操作特征(TPR和FPR)作为标准,ROC曲线也叫做相关操作特征曲线。

TXQIHYJ的博客 3371

查准率(Precision)和查全率(Recall)和 P-R曲线、ROC曲线

数据发生倾斜时,准确率判断模型好坏就不那么准确了。比如风控模型中,99个正常用户和1个欺诈用户,用一个把所有用户都识别成正常用户的模型进行预测,那么该模型的准确率为99%,然而并没有什么用。所以要用另一个参数来衡量模型的好坏。 查准率(Precision)和查全率(Recall) 四类预测 将模型预测结果分为下面四类: 正确肯定(True Positive,TP):预测为真,实际为真 正确否定(...

很吵请安静 1万+

模型评估指标(Confusion Matrix、ROC、AUC)

文章目录1、选择合适的模型评估指标的依据2、混淆矩阵(Confusion Matrix)2.1 模型整体效果:准确率2.2 捕捉少数类:精确率(Precision)、召回率(Recall)和F1-score2.2.1 精准率(Precision)2.2.2 召回率(Recall)2.2.3 P-R曲线(Precision Recall Curve)2.2.4 F1-Score2.2.5 sklea...

平凡简单的执着 6270

数据建模中的模型性能评估:如何评估模型的性能和性能

作者:禅与计算机程序设计艺术 数据建模作为一个重要环节,其目的就是为了通过对已知数据建立模型,来对未知数据进行预测或分类。然而,建模过程本身就具有一定的随机性、不确定性和不可重复性,如何准确地评价模型的性能是建模中的关键环节。一般来说,数据建模的模型性能评估可以分为以下几类: 1)预测性能评估(Predictive Perf

AI天才研究院 4193

F1score/P-R曲线/ROC曲线/AUC

1.分类正确的样本占总样本个数的比例。 2.TP/FP/FN/TN 1)True positive(TP): 真正例,将正类正确预测为正类数; 2)False positive(FP): 假正例,将负类错误预测为正类数; 3)False negative(FN):假负例,将正类错误预测为负类数; 4)True negative(TN): 真负例,将负类正确预测为负类数。 3.Pre...

qq_40415753的博客 7262

保姆级教程:用Wokwi玩转ESP32 MicroPython仿真(含库文件配置指南)

本教程详细介绍了如何使用Wokwi平台进行ESP32 MicroPython仿真开发,包括库文件配置、传感器数据模拟和REPL调试技巧。通过Wokwi的仿真调试系统,开发者可以在浏览器中快速验证代码逻辑,提高开发效率,特别适合物联网项目的快速迭代。

weixin_29195615的博客 448

机器学习的模型性能度量:评估指标PR对比ROC/AUC

  一般,对学习器的泛化性能进行评估,需要有能衡量模型泛化性能的评价标准,即性能度量(performance measure)。性能度量反映了任务需求,在对比不同模型的能力时,使用不同的性能度量往往会导致不同的评判结果,并通过这个指标来进一步调参逐步优化我们的模型。 分类常用的性能度量混淆矩阵精准率和召回率ROC/AUC 混淆矩阵   对于二分类的模型,可以把预测情况与实际情况的所有结果两两组合,结果就会出现以下4种情况,就组成了分类结果的混淆矩阵(confusion matrix):   令TP、FP

迷路的咸鱼的博客 3848

AI智能体评估基准AgentBench:从原理到实战的完整指南

在人工智能领域,智能体(AI Agent)的评估是衡量其实际应用能力的关键环节。评估基准通过设计标准化的测试任务,系统性地检验智能体的推理、规划和工具使用等核心能力。其技术价值在于为模型迭代和产品选型提供了客观、可复现的量化依据,能有效推动技术从演示走向工程落地。典型的应用场景包括模型能力评测、智能体框架对比以及具体应用(如自动化运维、智能客服)的性能验证。本文聚焦于清华团队推出的AgentBench,它作为一个多维度的综合评估套件,涵盖了从操作系统、数据库操作到网页浏览、数字卡牌游戏等八个贴近真实世界的任

weixin_27207591的博客 600

开关电源的纹波和噪声电压-抑制方法

开关电源(包括AC/DC转换器、DC/DC转换器、AC/DC模块和DC/DC模块)与线性电源相比较,最突出的优点是转换效率高,一般可达80%~85%,高的可达90%~97%;其次,开关电源采用高频变压器替代了笨重的工频变压器,不仅重量减轻,体积也减小了,因此应用范围越来越广。 但开关电源的缺点是由于其开关管工作于高频开关状态,输出的纹波和噪声电压较大,一般为输出电压的1%左右(低的为输出电压的0.5%左右),最好产品的纹波和噪声电压也有几十mV;而线性电源的调整管工作于线性状态,无纹波电压,输出的噪声电压也

ltqdxl的博客 1万+
上一篇: 机器学习模型性能评估(一):错误率与精度
下一篇: 机器学习模型性能评估(三):代价曲线
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值