机器学习之AUC、AUPRC、F1等评价指标的含义

最新推荐文章于 2025-05-21 10:52:25 发布
最新推荐文章于 2025-05-21 10:52:25 发布
阅读量2w 收藏 33
点赞数 3
CC 4.0 BY-SA版权
分类专栏： 机器学习 文章标签： 学习 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/csdn_1_10086/article/details/124142123
本文详细解读了AUC=0.506031的模型表现，解释了AUC、AUPRC、F1分数和IoU在评估分类器性能中的作用。AUC与ROC曲线的关系，以及它们如何指示模型区分能力。F1分数强调精度与召回率平衡，而IoU则用于衡量对象检测的准确性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

AUC = 0.506031

AUC(area under the curve)是模型评估指标，特别是二分类模型使用的主要离线评测指标之一。

参考博客，AUC值是ROC曲线与x轴围成的面积。AUC的来源路线：混淆矩阵--ROC曲线--AUC

1.混淆矩阵(二分类)
在这里插入图片描述
T P R ( 真 正 例 概 率 ) = T P T P + F N TPR(真正例概率)={ \frac {TP} {TP+FN}} TPR(真正例概率)=TP+FNTP​
F P R ( 假 正 例 概 率 ) = F P F P + T N FPR(假正例概率)={ \frac {FP} {FP+TN}} FPR(假正例概率)=FP+TNFP​

当阈值（区分类别1,0的值）从1到0慢慢移动，产生很多对 (FPR,TPR)。以FPR为x轴，TFR为y轴的曲线就是ROC曲线，而AUC就是ROC曲线和x轴围成的面积。

在这里插入图片描述
AUC的值表示y=1和y=0的距离，也就是AUC越大，两个数据隔得越开，分类的准确率越大。我的AUC=0.506031，预测的准确率只有50%左右。
在这里插入图片描述
分类器选取阈值不同，分类的结果也会受到影响。使用AUC的话，考虑到了阈值变动，所以评估的效果更好。

AUPRC = 0.616219

PRC曲线是准确率和召回率的点连成的线。AUPRC=PRC曲线和x轴围成的面积。同AUC相同可以作为选取合适阈值的方法。
在这里插入图片描述

Best F1 = 0.780822

F1是分类问题的一个衡量指标。表示准确率（precision）和召回率（recall）的平均数。
F 1 = 2. p r e c i s i o n . r e c a l l p r e c i s i o n + r e c a l l F_1=2.{ \frac {precision.recall} {precision+recall}} F1​=2.precision+recallprecision.recall​

IoU = 0.216904

IoU=预测框和真实框的交并比：
I o U = ∣ A ⋂ B ∣ ∣ A ⋃ B ∣ IoU={ \frac {|A \bigcap B|} {|A\bigcup B|}} IoU=∣A⋃B∣∣A⋂B∣​
在这里插入图片描述

F1 Score 原理与代码实战案例讲解
AI天才研究院
08-14 1062
机器学习模型的开发流程通常包括数据预处理、特征工程、模型选择、模型训练和模型评估等环节。其中，模型评估是至关重要的一个环节，它可以帮助我们了解模型的泛化能力，即模型在未知数据上的表现。只有通过科学合理的评估方法，才能选择出性能优异、泛化能力强的模型，并将其应用到实际问题中。精确率是指分类器预测为正例的样本中，真正为正例的样本所占的比例。召回率是指所有真正为正例的样本中，被分类器正确分类为正例的样本所占的比例。F1 score 是精确率和召回率的调和平均数，用于综合评价模型的分类性能。
机器学习——分类模型评估、ROC曲线、PR曲线
weixin_74340055的博客
04-16 2755
ROC曲线（受试者工作特征曲线）和PR曲线（精确率-召回率曲线）是两种用于评估分类模型性能的重要工具。ROC曲线以真正例率（TPR，即召回率）为纵轴，假正例率（FPR）为横轴，通过不同阈值下的TPR和FPR绘制而成。PR曲线则以召回率为横轴，精确率为纵轴，同样通过不同阈值下的召回率和精确率绘制。导入数据后，就需要选择分类器来进行训练，这里我选择了以下几个分类模型。逻辑回归（Logistic Regression）：逻辑回归是一种广义的线性回归模型，常用于处理因变量为二分类（0或1）的问题。
一文理解机器学习中二分类任务的评价指标 AUPRC 和 AUROC
叶庭云 成为自己的光
12-23 3834
一文理解机器学习中二分类任务的评价指标 AUPRC 和 AUROC
多分类任务评估指标的简单介绍
最新发布
2401_83171592的博客
05-21 810
以下是对多分类任务中核心指标的详细说明，包括其作用、计算方法、适用场景及对比分析。综合评估分类器在精确率（Precision）和召回率（Recall）之间的平衡性能，适用于多类别分类任务。F1 分数：其中：Precision（精确率）：正确预测的正类占所有预测为正类的比例。Recall（召回率）：正确预测的正类占所有真实正类的比例。多分类扩展：Macro-F1：对每个类别的F1取算术平均。Micro-F1：汇总所有类别的TP、FP、FN后计算全局F1。Weighted-F1：按每个类别的样本数量加权平均F1
深入理解与运用机器学习评估指标：准确率、召回率、F1分数与AUC-ROC曲线
qq_51320133的博客
04-02 4184
在机器学习领域，选择合适的模型评估指标对于模型性能的公正评价至关重要。特别是在监督学习问题中，如分类任务，我们需要借助一系列量化指标来衡量模型对训练样本的学习效果以及在未知数据上的泛化能力。本文将深入探讨四种常用的评估指标：准确率、召回率、F1分数以及AUC-ROC曲线，并分析它们在不同应用场景下的优势与局限性。准确率是最直观也最常被提及的评估指标之一。它衡量的是模型预测正确的样本数占总样本数的比例。
神经网络常见评价指标AUROC（AUC-ROC）、AUPR（AUC-PR）
热门推荐
行子的博客
11-15 2万+
从 (0, 0) 到 (1,1) 的对角线将ROC空间划分为左上／右下两个区域，在这条线的以上的点代表了一个好的分类结果（胜过随机分类），而在这条线以下的点代表了差的分类结果（劣于随机分类）。准确性是最常见的分类任务评价指标，表示模型正确预测的样本数占总样本数的比例。召回率是指在所有实际为正例的样本中，被模型正确预测为正例的比例。召回率关注的是模型对正例的覆盖程度。精确度是指在所有被模型预测为正例的样本中，实际为正例的比例。精确度关注的是模型预测为正例的准确性。表示模型错误分类的样本比例，是准确性的补数。
评估指标（二）| F1分数、AUC
weixin_46390472的博客
02-16 2497
书接上文，我们已经讨论了准确率、精确率和召回率，本文将讨论和这两种常用指标。
AUC AUPR
qq_41786778的博客
03-02 718
机器学习中auc与aupr 指的是什么？ http://t.csdn.cn/jFcns
ACC、AUC、auPR
weixin_44203980的博客
03-20 1743
1. test acc： 模型正确预测的样本占总样本的比例。 如果该样本中零值大概是73%的比例，test acc高而auc低说明模型没学到有用的信息，将所有样本都判断为0都有73%的正确率，更何况随机猜测(auc=0.5)，因此准确率会稍高于73% 2. AUC： ROC曲线下的面积，ROC曲线是真阳率（True Positive Rate, TPR）对假阳率（False Positive Rate, FPR）的图表表示。AUC越高，意味着模型对正负样本的区分能力越强（能把正样本找全）。
ROC和AUC也不是评估机器学习性能的金标准
悟道西方
09-20 1285
对于不平衡数据集，AUC值是分类器效果评估的常用标准。但如果在解释时不仔细，它也会有一些误导。以Davis and Goadrich (2006)中的模型为例。如图所示，左侧展示的是两个模型的ROC曲线，右侧展示的是precision-recall曲线 (PRC)。
深度学习分类常见评价指标：accuracy recall precision specificity sensitivity AUC ROC 曲线
qq_38895920的博客
05-22 4395
深度学习分类时常用到以下指标，这里做一个总结： 首先介绍一些指标的定义： (1)若一个实例是正类，但是被预测成为正类，即为真正类(True Postive TP) (2)若一个实例是负类，但是被预测成为负类，即为真负类(True Negative TN) (3)若一个实例是负类，但是被预测成为正类，即为假正类(False Postive FP) (4)若一个实例是正类，但是被预测成为负类，即为假负类(False Negative FN） 这四个部分可以构成一个混淆矩阵： ...
prc曲线 sklearn_机器学习性能指标精确率、召回率、F1值、ROC、PRC与AUC--周振洋
weixin_31293841的博客
02-28 1023
精确率、召回率、F1、AUC和ROC曲线都是评价模型好坏的指标,那么它们之间有什么不同，又有什么联系呢。下面让我们分别来看一下这几个指标分别是什么意思。针对一个二分类问题，将实例分成正类(postive)或者负类(negative)。但是实际中分类时，会出现四种情况.(1)若一个实例是正类并且被预测为正类，即为真正类(True Postive TP)(2)若一个实例是正类，但是被预测成为负类，即为...
Python机器学习项目开发实战-在数据分析竞赛平台遴选最佳的算法模型-编程案例实例教程.pdf
04-28
在模型评估阶段，我们通常使用准确率、精确率、召回率、F1分数、AUC-ROC曲线等指标。对于不平衡的数据集，AUPRC（Area Under the Precision-Recall Curve）也是一个重要的评估指标。此外，Kaggle竞赛通常会使用特定...
深入理解实际场景下 AUC vs F1 的区别——不说废话
Jerry_Lu_ruc的博客
08-10 2万+
面试的时候经常被问的一个问题是 AUC和F1 score有什么区别。笔者看了很多博文，感觉相当一部分在分析混淆矩阵和auc、f1的定义上花了太多笔墨，但对于两者的区别和联系，有种到了门前就差临门一脚的感觉。因此笔者去stack overflow上找了很多回答，感觉收获很多，在此简明扼要的写一下收获。如有纰漏欢迎指正。 1、定义： AUC的优化目标：TPR和(1-FPR) F1的优化目标：Recall和Precision 这里不再对混淆矩阵(TP、FP、TN、FN)相关的一些很细的概念做详细解释，推荐去看一下
精确率、召回率、F1 值、ROC、AUC等分类模型评价指标含义与作用详解
weixin_45459911的博客
03-30 1万+
文章目录摘要一、精确率、召回率、F函数、准确率和错误率1、定义2、区别与应用二、ROC曲线、P-R曲线、AUC1、P-R曲线2、ROC曲线3、AUC 摘要 在涉及机器学习领域的分类问题时（尤其是衡量推荐系统性能时），经常会遇到诸如准确率、召回率、ROC、AUC等名词。本文就来详细阐述一下各类评价指数的具体含义和特点。 一、精确率、召回率、F函数、准确率和错误率 1、定义 结合混淆矩阵进行说明 1...
F1指标：平衡精确率和召回率的度量
BitSlinger的博客
09-05 386
通过综合考虑精确率和召回率，F1指标提供了一个单一的度量值，可以用来评估分类模型的性能。在模型选择、参数调优和结果报告中，F1指标都是一个重要的工具，可以帮助我们更好地理解和比较不同模型的性能。F1指标是一种常用的评估指标，它综合考虑了精确率（precision）和召回率（recall），用于衡量分类模型的综合性能。为了更好地理解F1指标的定义和使用，我们将使用Python编写一些示例代码来说明它的计算方法。精确率是指在所有被分类器预测为正例的样本中，实际为正例的样本所占的比例。
模型评价指标—F1值
阿黎逸阳的博客
04-08 4324
模型评价指标F1值的计算与实现
机器学习或深度学习中超参数性能评估指标 AUROC 和 AUPRC 的区别和选择
行子的博客
09-28 4066
AUROC关注的是模型的分类能力，特别是在不同概率阈值下，模型的真正例率（True Positive Rate，也称为召回率）与假正例率（False Positive Rate）之间的权衡。：AUROC通常适用于具有不平衡类分布的二分类问题，特别是当你关心模型对负类样本的误分类情况，并且对不同概率阈值下的性能有兴趣时。如果你的问题涉及到不平衡类分布，尤其是当负类别样本数量远远大于正类别样本数量时，AUROC通常是一个不错的选择，因为它对不同概率阈值下的性能变化有良好的可解释性。
二分类：评价指标（TPR、Recall、Precision、Accuracy、AUROC、AUPR）
qq_38432089的博客
10-11 1万+
参考： 1、如何解释召回率、精确率？ 2、什么是真、伪阳性率【详细讲解】 一、定义 1、二分类情况下，有正、负样本（即：阳性、阴性） 2、根据真实类别、预测类别的不同，可以大致划分为以下四种情况： 1、真阳性率 TPR（True Positive Rate） 也叫召回率，Recall。是指正类样本中，有多少被正确预测为正类【针对于原来样本来说的】 正类样本：真阳、假阴 TPR=TP/（TP+FN） 区分 Precision，也叫精确率。是指被预测为阳性的样本中，有多少是预测正确的【针对于预测结果来
AUPRC
03-15
### Area Under Precision-Recall Curve (AUPRC) #### 定义 Area Under Precision-Recall Curve (AUPRC) 是一种用于评估二分类模型性能的指标，它表示 Precision-Recall 曲线下的面积。该曲线通过绘制不同阈值下的一系列精度（Precision）和召回率（Recall）点来反映模型的表现。 #### 计算方法 AUPRC 的计算基于 Precision 和 Recall 值的变化关系。具体来说： 1. **获取多个阈值下的 Precision 和 Recall** 对于不同的决策阈值 \( t \)，可以计算出相应的 Precision 和 Recall 值： \[ \text{Precision} = \frac{\text{True Positives}}{\text{True Positives} + \text{False Positives}} \] \[ \text{Recall} = \frac{\text{True Positives}}{\text{True Positives} + \text{False Negatives}} \] 2. **构建 P-R 曲线** 将上述每一对 \( (\text{Recall}, \text{Precision}) \) 绘制成一条曲线。 3. **计算曲线下面积** 使用数值积分法（如梯形法则），估算 Precision-Recall 曲线下的面积。假设我们有若干个有序的 \( (\text{Recall}_i, \text{Precision}_i) \) 点，则可以通过以下公式近似计算 AUPRC： \[ \text{AUPRC} = \sum_{i=1}^{n-1} \left( \text{Recall}_{i+1} - \text{Recall}_i \right) \cdot \frac{\text{Precision}_{i+1} + \text{Precision}_i}{2} \] 这里每一项对应的是相邻两点间形成的梯形面积[^1]。 #### Python 实现示例 以下是利用 `scikit-learn` 库实现 AUPRC 的代码片段： ```python from sklearn.metrics import precision_recall_curve, auc import numpy as np # 示例真实标签和预测概率 y_true = np.array([0, 0, 1, 1]) y_scores = np.array([0.1, 0.4, 0.35, 0.8]) # 获取 Precision 和 Recall 数组 precision, recall, _ = precision_recall_curve(y_true, y_scores) # 计算 AUPRC auprc_value = auc(recall, precision) print(f"AUPRC Value: {auprc_value}") ``` 此代码首先调用函数生成 Precision 和 Recall 数据序列，随后应用 `auc()` 函数完成实际求积操作[^2]。 #### 特殊情况处理 当正样本数量较少或者分布极不均衡时，可能会导致某些区间的 Precision 或者 Recall 变化剧烈，此时需特别注意插值方式的选择以及边界条件的影响[^3]。 ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值