分类指标:ROC AUC PR F1

最新推荐文章于 2024-06-12 16:13:12 发布
原创 最新推荐文章于 2024-06-12 16:13:12 发布 · 736 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了ROC曲线的计算公式及其意义，强调了ROC曲线中真正类率(TPR)与负正类率(FPR)的概念。同时讨论了AUC，即ROC曲线下的面积，以及如何选择最优阈值。此外，还阐述了precision和recall的计算方法，指出理想的precision和recall应同时接近1。最后，引入了F1分数作为精确率和召回率的综合评价指标。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

ROC

计算公式

ROC的全称为:接收者操作特征(Receiver Operating Characteristic)
横轴：负正类率(False Postive Rate FPR)
纵轴：真正类率(True Postive Rate TPR)
对于FPR和TPR,他们的计算公式为:
T P R = T P T P + F N TPR=\frac{TP}{TP+FN} TPR=TP+FNTP​
F P R = F P F P + T N FPR=\frac{FP}{FP+TN} FPR=FP+TNFP​
其中
True Positive(真正, TP)：正确地预测成正类的个数.
True Negative(真负 , TN)：正确地预测成负类的个数.
False Positive(假正, FP)：错误地预测成正类的个数,也就是实际样本真值是负类 → 误报 (Type I error).
False Negative(假负 , FN)：错误地预测成负类的个数,也就是实际样本真值是正类 →漏报 (Type II error).
所以TP+FN是样本中真值为正类的数量,TPR是正样本预测对的比例,我们希望它越大越好
FP+TN是样本中真值为负类的数量,FPR是负样本预测错的比例,我们希望它越小越好

曲线绘制

当我们使用逻辑回归进行分类时,会得到每个样本分到正类的概率,当我们取不同的阈值的时候,样本的分类情况就会不一样,从而得到一系列随阈值变化的ROC值,这样就绘制出了一条曲线.
在这里插入图片描述
我们希望选取最靠左上角的点对应的阈值.

AUC

AUC全称是Area under Curve,ROC曲线下的面积

参考文献:https://blog.youkuaiyun.com/u013385925/article/details/80385873

precision recall

由上一节已经知道了TP, TN, FP和FN
查准率precision = tp/(tp+fp)
分母TP+FP是预测出正类的个数,包括了预测正确的和预测错误的
查全率recall = tp/(tp+fn)
分母TP+FN是所有真实正类的数量
其实容易发现recall = tpr
根据不同的阈值也可以得到不同的precision和recall,进而绘制像以recall为横坐标,precision为纵坐标的曲线
和ROC不同,我们希望两个指标都越接近1越好,因此曲线越往右上角凸出越好
在这里插入图片描述

F1 score

F1分数同时兼顾了分类模型的精确率和召回率,可以看作是模型精确率和召回率的一种加权平均
在这里插入图片描述

机器学习中的模型评估：ROC曲线与AUC值的深度解析
加入“Super Entity”，与全能开发团队共探AI智能体与数字人项目，开启前沿技术之旅。
03-20 2068
在机器学习项目中，评估模型的性能是确保模型有效性和可靠性的关键步骤。ROC曲线（Receiver Operating Characteristic Curve）和AUC值（Area Under Curve）是评估分类模型性能的重要工具，尤其是在处理不平衡数据集时。ROC曲线展示了模型在不同阈值下的真正例率（TPR）和假正例率（FPR），而AUC值则表示ROC曲线下的面积，用于衡量模型的整体性能。本文将从ROC曲线和AUC值的基本概念出发，通过一个完整的代码示例带你入门，并探讨其应用场景和注意事项。
ROC-AUC 与 PR-AUC 的区别与联系
xf0204130111的博客
06-13 2313
ROC-AUC 与 PR-AUC 的区别与联系
机器学习基础-PR\ROC\F1
qq_45906101的博客
04-20 728
PC曲线就是精准率与召回率曲线，精准率与召回率是相爱相杀的，比如，当我们阈值很高的时候，精准率就会很高，精准率就是预测出来的阳性有多少是真阳性，阈值高，我们测出来的阳性一般都是真的，此时召回率就低，召回率是真的阳性中有多少被预测出来的，因为阈值变高了，我们预测出来的阳性很少。如图，就是根据阈值不同，我们看我们的二分类器的结果，根据结果算出TPR(真阳性)与FPR(假阳性)，最好的情况就是如图，我们的ROC曲线越靠近左上角，越好，当然，有一条基准线，就是y=x。，我们更需要关注的是 FP而不是FN。
异常检测的评价指标：ROCAUC等【tips】
记录/交流，加油啊呀...
06-13 3826
分为图片级别（为整张图片打标签）的和像素级别（为每个像素打标签）的。roc 参数：标签，评价分数（也就是每个样本预测为正的概率），正样本标签（默认是0）。返回结果：fpr，tpr，thresholds。fpr：负正类率，负类预测为正类占所有负类的比例。tpr：真正类率，正类预测为正类占所有正类的比例。threshold：阈值aucthreshold是每个样本的评价分数，也就是每个样本预测为正的概率值，概率值有了，那这个样本是把他定为正样本还是负样本呢。所以规定，当threshold取其中一个样本的概率值
<zz>模式识别中分类器性能评估参数的解释---混淆矩阵，ROC
机器智能
05-27 2067
在使用MATLAB pattern recognition 工具箱做data classification时，最终评价classifier性能的好坏，工具箱给出了confusion matrix和roc指标，那如何解释这些指标呢？首先可以参考维基百科：confusion matrix, receiver operating characteristic. 很多时候，我们希望对一个二值分
AUC、ACC、F1、准确率、召回率
qq_44783689的博客
12-01 1万+
准确率 - accuracy 精确率 - precision 召回率 - recall F1值 - F1-score ROC曲线下面积 - ROC-AUC （area under curve） PR曲线下面积 - PR-AUC 1 、auc AUC（Area Under Curve）被定义为ROC曲线下与坐标轴围成的面积，这个面积的数值不会大于1。又由于ROC曲线一般都处于y=x这条直线的上方，所以AUC的取值范围在0.5和1之间。AUC越接近1.0，检测方法真实性越高;等于0.5时，则真实性最低，无应用价
评估指标（二）| F1分数、AUC
weixin_46390472的博客
02-16 2569
书接上文，我们已经讨论了准确率、精确率和召回率，本文将讨论和这两种常用指标。
机器学习评价指标：AUCPR/AUC-ROC、混淆矩阵、五折交叉
强化学习曾小健
04-10 1457
AUC-ROC的影响：AUC-ROC衡量的是模型在所有可能的阈值下的整体性能。模型性能的评估：在类别不平衡的情况下，AUC-PR比AUC-ROC更能反映模型在实际应用中的性能。使用适合不平衡数据集的算法：某些机器学习算法，如XGBoost、LightGBM等，具有处理不平衡数据集的能力，可以考虑使用这些算法。总之，当AUC-PR较低而AUC-ROC较高时，很可能是由于数据集存在类别不平衡问题。使用适合不平衡数据集的评估指标：除了AUC-PR，还可以使用其他适合不平衡数据集的评估指标，如。
分类模型评估之ROC-AUC曲线和PRC曲线
热门推荐
皮皮blog
06-30 10万+
http://blog.youkuaiyun.com/pipisorry/article/details/51788927 ROC曲线和AUC ROC（Receiver Operating Characteristic，接受者工作特征曲线）曲线和AUC常被用来评价一个二值分类器（binary classifier）的优劣。博文介绍ROC和AUC的特点，讨论如何作出ROC曲线图以及计算AUC。 AUC是现...
一文彻底理解机器学习 ROC-AUC 指标
sdgfafg_25的博客
06-12 2万+
ROC 曲线，即接收者操作特征曲线，ROC曲线产生于第二次世界大战期间，最早用在信号检测领域，侦测战场上的敌军载具（飞机、船舰）。现在是是用来评价二分类模型性能的常用图形工具。它通过显示真阳性率（True Positive Rate，简称 TPR）与假阳性率（False Positive Rate，简称 FPR）之间的权衡来帮助我们理解模型的分类能力。AUC，即曲线下面积（Area Under Curve），是 ROC 曲线下面积的一个数值表示。它提供了一个定量的指标，用来衡量分类模型的整体表现。
一文读懂准确率、精准率、召回率、ROC、AUC、F1值
cz的博客
01-18 1万+
准确率，精准率，召回率 分类问题中的混淆矩阵如下 TP： 预测为1，预测正确，即实际1 FP： 预测为1，预测错误，即实际0 FN： 预测为0，预测错确，即实际1 TN： 预测为0，预测正确即，实际0 准确率 accuracy 准确率的定义是预测正确的结果占总样本的百分比，其公式如下： 准确率=(TP+TN)/(TP+TN+FP+FN) 虽然准确率可以判断总的正确率，但是在样本不平衡 的情况下，并不能作为很好的指标来衡量结果。举个简单的例子，比如在一个总样本中，正样本占90%，负样本占10%，样本是严重不
正则化、dropout、roc与F1度量
yhdsss875的博客
11-13 2352
正则化、dropout、roc与F1度量第一节 正则化1. 基本概念2. L0正则化与L1正则化3. L2正则化第二节 Dropout1. 什么是dropout2. dropout工作过程3. dropout在神经网络里的使用4. dropout如何解决过拟合第三节 ROC曲线1. ROC曲线基本概念2. ROC曲线的绘制第四节 F1度量 第一节 正则化 1. 基本概念 在机器学习与深度学习中，经常会遇到“正则化”这个词，但是却不知道这个词具体所代表的含义与应用途径，接下来我将简单说一下正则化这个看起来很难
机器学习性能指标精确率、召回率、F1值、ROC、PRC与AUC
一路前行
10-15 1万+
精确率、召回率、F1、AUC和ROC曲线都是评价模型好坏的指标,那么它们之间有什么不同，又有什么联系呢。下面让我们分别来看一下这几个指标分别是什么意思。 针对一个二分类问题，将实例分成正类(postive)或者负类(negative)。但是实际中分类时，会出现四种情况. (1)若一个实例是正类并且被预测为正类，即为真正类(True Postive TP) (2)若一个实例是正类，但是被预
简洁直观解释精确率、召回率、F1 值、ROC、AUC
qq_34184505的博客
11-16 837
关于ROC曲线，横轴为FPR，纵轴为TPR。目的是希望FPR尽可能小，TPR尽可能大，我们发现TPR和FPR分别时基于实际表现1和0出发的，也就是说它们分别在实际正样本和负样本中来观察相关概率问题。，如果我们想要在二者之间找到一个平衡点，就需要一个新的指标：F1分数，它同时考虑了查准率和查全率，让二者同时达到最高，取一个平衡点。当我们在做二分类预测时，把预测情况与实际情况的所有结果两两混合，结果就会出现以下4种情况，就组成了。= 召回率 = TP/(TP+FN)
ROC，AUC，Precision，Recall，F1的介绍与计算
qq_35098624的博客
05-30 422
ROC，AUC，Precision，Recall，F1的介绍与计算 ROC、AUC、Recall、Precision、Accuracy、F1、PRC 是什么？ https://blog.youkuaiyun.com/OOC_ZC/article/details/80180699 ROC，AUC，Precision，Recall，F1的介绍与计算 https://www.jianshu.com/p/963f10ff4225 精确率（Precision）、召回率（Recall）、F1-score、ROC、AUC https
深入理解实际场景下 AUC vs F1 的区别——不说废话
Jerry_Lu_ruc的博客
08-10 2万+
面试的时候经常被问的一个问题是 AUC和F1 score有什么区别。笔者看了很多博文，感觉相当一部分在分析混淆矩阵和auc、f1的定义上花了太多笔墨，但对于两者的区别和联系，有种到了门前就差临门一脚的感觉。因此笔者去stack overflow上找了很多回答，感觉收获很多，在此简明扼要的写一下收获。如有纰漏欢迎指正。 1、定义： AUC的优化目标：TPR和(1-FPR) F1的优化目标：Recall和Precision 这里不再对混淆矩阵(TP、FP、TN、FN)相关的一些很细的概念做详细解释，推荐去看一下
分类评价指标 F值 详解 | Micro F1 & Macro F1 & Weight F1
我是菜鸡
05-25 1万+
之前写一个作业样本不均衡问题。然后查了很多文章都说要更换评价指标，不能再使用准确率了，要计算F值。我看了一下F值怎么计算，看了挺多文章的，但是感觉说的比较迷惑，或者说法比较拗口。最后还是自己再总结一个。 查准率、查全率、F值 我们平时对于一个模型预测的准不准，我们最先想到的是用准确率(Accuracy)进行评价。 A=truetotal A = \frac{true}{total} A=totaltrue​ 这个虽然常用，但不能满足所有任务的需求。 所以我们可以引入查准率和查全率。 查准率(Preci.
机器学习之AUC、AUPRC、F1等评价指标的含义
csdn_1_10086的博客
04-14 2万+
AUC = 0.506031 AUC(area under the curve)是模型评估指标，特别是二分类模型使用的主要离线评测指标之一。 参考博客，AUC值是ROC曲线与x轴围成的面积。AUC的来源路线：混淆矩阵--ROC曲线--AUC 1.混淆矩阵(二分类) TPR(真正例概率)=TPTP+FNTPR(真正例概率)={ \frac {TP} {TP+FN}} TPR(真正例概率)=TP+FNTP​ FPR(假正例概率)=FPFP+TNFPR(假正例概率)={ \frac {FP} {FP+TN}}
分类问题中的各种评价指标——precision，recall，F1-score，macro-F1，micro-F1
u011412768的博客
10-13 1万+
目录 一、二分类评价指标 1、真实标签-预测标签的混淆矩阵 2、accuracy 3、precision、recall和F1-score 4、指标的选择问题 二、多分类评价指标 1、macro-F1 2、weight-F1 3、micro-F1 4、指标的选择问题 注：这篇文章只是对常用的分类问题中的评价指标的总结。 一、二分类评价指标 1、真实标签-预测标签的混淆矩阵 样本被预测为正 样本被预测为负 实际样本为正 TP（true positive） .
roc(): 变动率指标详解已经参数建议
最新发布
08-06
根据用户提供的引用，ROC指标通常与AUC（曲线下面积）一起使用，用于评估分类模型的性能。下面将按照以下结构组织回答： 1. ROC指标的定义和核心概念 2. ROC曲线的计算步骤（包括公式和示例） 3. AUC值的计算和解释...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值