ROC曲线及AUC

python绘制ROC曲线,计算AUC 使用Python绘制ROC曲线 计算AUC 阅读详情

ROC曲线

意义

ROC曲线指受试者工作特征曲线 / 接收器操作特性曲线(receiver operating characteristic curve),是反映敏感性和特异性连续变量的综合指标,是用构图法揭示敏感性和特异性的相互关系,它通过将连续变量设定出多个不同的临界值,从而计算出一系列敏感性和特异性,再以敏感性为纵坐标、(1-特异性)为横坐标绘制成曲线,曲线下面积越大,诊断准确性越高。在ROC曲线上,最靠近坐标图左上方的点为敏感性和特异性均较高的临界值。

例子

ROC曲线

如上图(图1,引用自维基百科),ROC曲线的横坐标为false positive rate(FPR)1-特异性,纵坐标为true positive rate(TPR)敏感性。
ROC曲线各参数意义

上图(图2,引用自豆瓣)为混淆矩阵以及ROC曲线各个参数的意义。

TruePositives 为在事先确定好的阈值的情况下,分类器将实际为Yes的样本正确预测为Yes,换个说法就是一个人找医生看病,医生按自己的经验诊断后认定这个人患有疾病,而且这个人确实患有该种疾病,正确的正例;

FalsePositives 即分类器将实际为No的样本错误的预测为Yes,误诊,错误的正例;

FalseNegatives 即分类器将实际为Yes的样本错误预测为No,可以形容为漏诊,错误的负例;

TrueNegatives 即分类器将实际为No的样本正确预测为No,良心医生,告诉看病的人确实没病,赶紧回家吧,正确的负例。

综上所述,我们期望的是所有的预测都可以完美的符合实际情况,即tp rate=1且fp rate=0。所以结合起来ROC曲线越靠左上越符合我们的期望,但是仅看ROC曲线无法区分不同分类器的好坏,所以引入了人AUC值,详细介绍在后面。
图1中的虚线为一个随机猜测的结果对照,即只猜对了一半,简单的说就是二选一毫无根据的瞎蒙。

(数据挖掘概念与技术 中文第三版 p237/261 p243/268)

AUC值

AUC(Area Under Curve)被定义为ROC曲线下的面积,显然这个面积的数值不会大于1。又由于ROC曲线一般都处于y=x这条直线的上方,所以AUC的取值范围在0.5和1之间。使用AUC值作为评价标准是因为很多时候ROC曲线并不能清晰的说明哪个分类器的效果更好,而作为一个数值,对应AUC更大的分类器效果更好。

ROC曲线画法

基本思想

ROC曲线的垂直轴表示TPR,水平轴表示FPR,从左下角开始(TPR=FPR=0),检查列表顶部元素的实际类编号。若为正确分类的正元组,则TP增加,从而TPR增加,在图中向上移动并绘制一个点。若把一个负元组分类为正,则FP和FPR增加,在图中向右移动并绘制一个点。

步骤

  • 统计数据标签值ground_truth(及y)中分类为0和分类为1的数据数目:
    pos_num=sum(ground_truth==1);neg_num=sum(ground_truth);
  • 对利用模型求出的预测值predict由低到高进行排序;对应数据原来所在位置进行索引记录,用于重新排序ground_truth.利用函数sort实现,sort详情请查看help文档:
    [pre,Index]=sort(predict); ground_truth=ground_truth(Index);
  • 对ground_truth和predict遍历i=1:n,n是测试集数目。其目的是随着predict中概率的增加,随着增加判断正负样本的阈值;也就是说取遍历到的predict值为阈值,大于阈值的假设预测为正样本(阈值右边),小于阈值的假设预测为负样本(阈值左边)。
    所以同时我们可得到真正TP 和假正FP值:TP=sum(ground_truth(i:n)==1);FP=sum(ground_truth(i:n)==0);
    这时我们就可以求取TPR 和FPR了:TPR=TP/pos_num; FPR=FP/neg_num; 把求取到的值保存起来(x(i),y(i)),因为这就是我们要在图上画的点。
  • 返回曲线与坐标轴间的面积auc。我们的目的是测量数据的准确率,这个面积就是一个量度,auc越大,准确率越高。
    auc=auc+(y(i)+y(i-1))*(x(i-1)-x(i))/2;

实现ROC曲线的代码如下:

%  predict       - 分类器对测试集的分类结果
%  ground_truth - 测试集的正确标签,这里只考虑二分类,即0和1
%  auc            - 返回ROC曲线的曲线下的面积
function auc = plot_roc( predict, ground_truth )
%初始点为(1.0, 1.0)
%计算出ground_truth中正样本的数目pos_num和负样本的数目neg_num

pos_num = sum(ground_truth==1);
neg_num = sum(ground_truth==0);

m=size(ground_truth,1);
[pre,Index]=sort(predict);
ground_truth=ground_truth(Index);
x=zeros(m+1,1);
y=zeros(m+1,1);
auc=0;
x(1)=1;y(1)=1;

for i=2:m
    TP=sum(ground_truth(i:m)==1);FP=sum(ground_truth(i:m)==0);
    x(i)=FP/neg_num;
    y(i)=TP/pos_num;
    auc=auc+(y(i)+y(i-1))*(x(i-1)-x(i))/2;
end;

x(m+1)=0;y(m+1)=0;
auc=auc+y(m)*x(m)/2;
plot(x,y);
end
Python应用|ROC曲线,AUC计算及代码 数据类笔试题:Python绘制ROC曲线和计算AUC 前言: 这是我最近应聘某家互联网公司时遇到的笔试题:用Python或者R绘制ROC曲线并计算AUC ROC:Receiver Operating Characteristic,评判分类模型性能的方法,通过画在二维平面的曲线表示,横坐标为FPR(false positive rate,0~1),纵坐标为TPR(true positive rate... 阅读详情

相关推荐

ROC曲线与AUC计算

ROC曲线绘制与AUC计算           致谢 多位博主的无私分享。 参考文献 [1] http://blog.youkuaiyun.com/chjjunking/article/details/5933105 . chjjunking的博客 [2] http://blog.youkuaiyun.com/abcjennifer/article/details/735937

mytestmy的专栏 1万+

auc和roc曲线解释_ROC曲线和AUC —解释

auc和roc曲线解释ROC (receiver operating characteristics) curve and AOC (area under the curve) are performance measures that provide a comprehensive evaluation of classification models. ROC(接收机工作特性)曲线和AOC(曲...

weixin_26752765的博客 2408

ROC曲线绘制和AUC计算

ROC曲线绘制和AUC计算,以及在医学诊断中的应用

ccc_bioinfo的博客 2969

ROC和AUC

ROC曲线(Receiver Operating Characteristic curve)和AUC(Area Under the Curve)是用于评估二分类模型性能的重要工具。 ROC曲线以真正例率(True Positive Rate,也称为召回率或灵敏度)为纵轴,假正例率(False Positive Rate)为横轴,展示了模型在不同阈值下的分类表现。ROC曲线越靠近左上角,表示模型性能越好,因为此时真正例率较高而假正例率较低。 AUC是ROC曲线下方的面积,用于量化模型的分类性能。AUC的取

weixin_66547608的博客 4948

多指标的受试者工作特征曲线(ROC曲线)在R语言中的实现

ROC曲线可以同时考虑分类器的灵敏度和特异度,并通过绘制不同阈值下的真阳性率(True Positive Rate,TPR)和假阳性率(False Positive Rate,FPR)之间的关系来展示分类器的性能。通过运行上述代码,我们将获得一个带有ROC曲线的图形,并且图形的标题为"ROC Curve",x轴标签为"False Positive Rate",y轴标签为"True Positive Rate"。我们将使用R中的pROC包来计算ROC曲线的各项指标,并使用ggplot2包来进行可视化。

2301_79331421的博客 457

ROC曲线及AUC值

ROC曲线 参考文献:【ROC曲线与AUC值】 1. 介绍及引入 ROC的全名叫做Receiver Operating Characteristic,其主要分析工具是一个画在二维平面上的曲线——ROC curve。 平面的横坐标是false positive rate(FPR),即假阳性率(1−Sp1-Sp1−Sp); 纵坐标是true positive rate(TPR),即真阳性率(SnSnSn)。 对某个分类器而言,我们可以根据其在测试样本上的表现得到一个TPR和FPR点对。这样,此分类器就可以映射成

林景的博客 5547

深度理解受试者工作特征(ROC)曲线

目录1、分类结果混淆矩阵举例:2、ROC举例:3、AUC4、Python代码 我们通常使用ROC和AUC来衡量分类算法在二分类问题上表现的好坏。 参考:https://zhuanlan.zhihu.com/p/46438528 1、分类结果混淆矩阵 在二分类问题上,可将样例根据其真实类别和分类模型预测的类别分为如下四种(1表示类别为真,0表示类别为假): 真正例TP(true postive):样本真实类别为1,学习模型预测的类别也为1; 假正例FP(false postive):样本真实类别为0,学习模

→★佐佑思维★← 1万+

【机器学习】了解 AUC - ROC 曲线

在机器学习中,性能测量是一项基本任务。因此,当涉及到分类问题时,我们可以依靠AUC - ROC曲线。

gongdiwudu的专栏 4万+

python使用sklearn的RocCurveDisplay来可视化ROC曲线(受试者工作特征曲线)

python使用sklearn的RocCurveDisplay来可视化ROC曲线(受试者工作特征曲线) 目录 python使用sklearn的RocCurveDisplay来可视化ROC曲线(受试者工作特征曲线) #模型构建 #RocCurveDisplay来可视化ROC曲线 #模型构建 print(__doc__) from sklearn.datasets import fetch_openml from sklearn.preprocessing import Standar..

data+scenario+science+insight 2122

Windows下快速搭建Kettle开发环境:基于9.4.0.0版本的保姆级教程

本文提供Windows系统下Kettle 9.4.0.0开发环境的详细搭建指南,涵盖源码获取、Maven配置优化、高效编译及部署运行全流程。通过实战验证的步骤和常见问题解决方案,帮助数据工程师快速完成环境配置,提升ETL开发效率。

weixin_28829479的博客 335

STM32F407+LWIP实战:手把手教你移植mbedtls库实现Modbus TCP双向认证

本文详细介绍了如何在STM32F407微控制器上移植mbedtls库,结合LWIP协议栈实现Modbus TCP的双向认证功能。通过TLS 1.2加密通道,有效提升工业物联网通信的数据安全性,涵盖证书管理、内存优化及性能调优等关键步骤,为嵌入式系统开发者提供了一套完整的解决方案。

weixin_28721917的博客 517

ROC曲线和AUC面积理解

关注微信公众号【Microstrong】,我现在研究方向是机器学习、深度学习,分享我在学习过程中的读书笔记!一起来学习,一起来交流,一起来进步吧!本文同步更新在我的微信公众号中,公众号文章地址:https://mp.weixin.qq.com/s?__biz=MzI5NDMzMjY1MA==&mid=2247484146&idx=1&sn=963765a3ede231292...

Microstrong 9万+

PMOS缓启动电路设计实战:用LTspice优化上电时序,把60A冲击降到15A

本文通过一个实战案例,深入解析了PMOS缓启动电路如何有效抑制上电冲击电流。文章指出,低ESR电容是导致冲击电流飙升的元凶,并详细阐述了利用LTspice仿真工具,通过优化栅极电阻和栅源电容等参数,将高达60A的冲击电流成功降至15A的设计与优化过程,为电源开关电路设计提供了可复用的方法论。

onion的博客 903

入门选手都能理解的ROC曲线与AUC值

1.ROC曲线 在信号检测理论中,接收者操作特征曲线(receiver operating characteristic curve,或者叫ROC曲线)是一种坐标图式的分析工具,用于 (1) 选择最佳的信号侦测模型、舍弃次佳的模型。 (2) 在同一模型中设定最佳阈值。 在做决策时,ROC分析能不受成本/效益的影响,给出客观中立的建议。 ROC曲线首先是由二战中的电子工程师和雷达工程师发明的,用来侦...

bitcarmanlee的博客 1万+

2025年度工业级3D全景相机技术解析选型参考:国产品牌的技术突围与市场格局

本文分析了工业级3D相机在智慧城市和建筑数字化中的应用。通过对比国内外主流设备的技术参数和应用场景,发现国产品牌如众趣科技在性价比和本地化服务方面具有优势,尤其适合大型空间扫描项目;而国际品牌如Faro、Leica则在精度和可靠性上保持领先。建议根据项目需求(如测距范围、精度要求、预算)进行设备选型,综合考虑扫描效率、数据处理能力和系统兼容性。国产品牌已在国内大型基建项目中展现出竞争力,国际品牌则更适合高精度逆向工程和国际化项目。

gxdtgsy的博客 1077

激光雷达点云可视化:Open3D与PCL实战

激光雷达点云可视化:Open3D与PCL实战 ,人工智能,计算机视觉,大模型,AI,该文围绕激光雷达点云可视化,介绍了Open3D与PCL的实战应用。先阐述点云基础概念、特点及可视化意义,接着讲解Open3D的简介、环境配置,以及其在点云读取、显示、颜色设置、下采样和滤波等方面的实战操作,还介绍了PCL的基础、环境配置及相关实战,包括点云读取、显示、颜色设置、下采样和滤波,同时对比了两者的易用性、功能覆盖、性能和适用场景,给出综合实战案例与常见问题解决方法,为点云可视化处理提供了全面指导。

不踩坑,不知道坑有多深;不总结,踩过的坑白踩。 12万+

ROC曲线面积AUC详解

一、roc曲线 1.roc曲线:接收者操作特征(receiver operating characteristic), roc曲线上每个点反映着对同一信号刺激的感受性。 横轴:负正类率(false postive rate FPR)特异度,划分实例中所有负例占所有负例的比例;(1-Specificity) 纵轴:真正类率(true postive rate TPR)灵敏度,Sensitivity(正类覆盖率) 2. 针对一个二分类问题,将实例分成正类(postive)或者负类(negative)。但

午夜阳光 1万+

QT实现ftp服务器(附完整源码)

QT实现ftp服务器(附完整源码)

希望我的博客,能帮上你解决学习中工作中所遇到的问题 1785

ROC曲线 和 AUC 直白详解

ROC曲线 定义 在信号检测理论中,接收者操作特征曲线(receiver operating characteristic curve,或者叫ROC曲线)是一种坐标图式的分析工具,用于 (1) 选择最佳的信号侦测模型、舍弃次佳的模型。 (2) 在同一模型中设定最佳阈值。 这里我们只要记得 ROC曲线 主要是用来确定一个模型的 阈值。 理解 既然...

大数据技术分享 5387

1篇2章1节:在 Mac 上安装 Python,从环境检查到工具配置的完整指南

Python 是当今最流行的高级编程语言之一,广泛应用于数据分析、人工智能、自动化脚本和 Web 开发。虽然 macOS 曾自带 Python,但从 macOS 12.3 开始,系统不再默认提供可直接使用的版本,因此需要手动安装。本文将详细讲解如何在 Mac 上安装最新版本的 Python,如何验证安装是否成功,以及如何配置 IDLE 和 Python Launcher 等工具,为日常开发和学习打下坚实基础。即便你是完全的新手,也能按步骤完成环境搭建。

MD Code 852

全球气候模式降尺度方法总结及其代码实现

简介总结各类型气候模式降尺度方法

WW、forever的博客 1万+

ROC曲线,AUC面积

  AUC(Area under Curve):Roc曲线下的面积,介于0.1和1之间。Auc作为数值可以直观的评价分类器的好坏,值越大越好。   首先AUC值是一个概率值,当你随机挑选一个正样本以及负样本,当前的分类算法根据计算得到的Score值将这个正样本排在负样本前面的概率就是AUC值,AUC值越大,当前分类算法越有可能将正样本排在负样本前面,从而能够更好地分类。 1. 什么是...

dili8870的博客 3605

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

ROC曲线 AUC值

全面了解ROC曲线 一.初识ROC曲线 1. ROC的前世今生: ROC的全称是“受试者工作特征”(Receiver Operating Characteristic)曲线, 首先是由二战中的电子工程师和雷达工程师发明的,用来侦测战场上的敌军载具(飞机、船舰),也就是信号检测理论。之后很快就被引入了心理学来进行信号的知觉检测。此后被引入机器学习领域,用来评判分类、检测结果的好坏。因此,R...

wangprince2017 6930

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

ROC曲线及如何计算AUC

AUC的全名是Area Under Curve,就是ROC曲线下的面积。因此,在介绍AUC之前,先介绍下ROC。 ROC ROC,Receiver Operating Characteristic ROC(receiver operating characteristic curve)接收者操作特征曲线,是由二战中的电子工程师和雷达工程师发明用来侦测战场上敌军载具(飞机、船舰)的指标,属于信号检测理论。 ROC曲线的横坐标是伪阳性率(也叫假正类率,False Positive Rate...

u010505915的博客 1万+

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

ROC曲线与AUC值

根据上一篇博文(如何解释准确率、精确率与召回率?)中对相关概念的定义,引入“真正例率”(True Positive Rate,简称TPR)和“假正例率”(False Postive Rate,简称FPR)。 TPR和FPR的定义为: 假正例率:对应的是真实负样本中分类结果为正样本的比例; 真正例率:对应的是真实正样本中分类结果为正样本的比例。 ROC曲线(接受者操作特性曲线,receiver operating characteristic curve)的横坐标为假正例率,纵坐标为真..

PingBryant的博客 3992
上一篇: weka使用教程3--对分类结果进行分析
下一篇: matlab标准化和反标准化——zscore
It_BeeCoder
博客等级 码龄10年 967粉丝 238原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值