对模型评价指标AUC的理解

最新推荐文章于 2024-08-23 00:53:11 发布
原创 最新推荐文章于 2024-08-23 00:53:11 发布 · 7.2k 阅读 · 24 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据挖掘 #机器学习

本文深入解析AUC与ROC曲线在机器学习模型评估中的应用，详细解释了AUC的物理意义，ROC曲线的绘制方法及AUC计算方式。通过案例分析，帮助读者理解AUC在样本不平衡情况下的评价优势。

AUC是一种衡量机器学习模型分类性能的重要且非常常用的指标,其只能用于二分类的情况.
AUC的本质含义反映的是对于任意一对正负例样本,模型将正样本预测为正例的可能性 大于 将负例预测为正例的可能性的 概率( :-) 没办法这句话就是这么绕, rap~).

AUC作为数值,那么到底是怎么来的?怎么理解它的意义?

在真正接触AUC之前,还需要了解两个概念, 分别是混淆矩阵(confusion matrix) 和 ROC曲线.

混淆矩阵:

混淆矩阵.png
可以看出混淆矩阵由四个值构成:

  • TP : 真实类别为1,且预测结果为1的样本个数,预测正确.
  • FP : 真实类别为0,且预测结果为1的样本个数,预测错误.
  • FN : 真实类别为1,且预测结果为0的样本个数,预测错误.
  • TN : 真实类别为0,且预测结果为0的样本个数,预测正确.

由混淆矩阵可以计算得到ROC曲线的关键参数:TPR(真正例率) 和 FPR(假正例率).
(1)TPR=TP(TP+FN)=TPP TPR = \frac{TP} {(TP + FN)} = \frac{TP}{P} \tag{1} TPR=(TP+FN)TP​=PTP​(1)

  • 对TPR最通俗易懂的理解即将正例预测为正例的比例

(2)FPR=FP(FP+TN)=FPN FPR = \frac{FP} {(FP + TN)} = \frac{FP}{N} \tag{2} FPR=(FP+TN)FP​=NFP​(2)

  • 对FPR最通俗易懂的理解即将负例预测为正例的比例(注意: TPR和FPR分子上表示的都是模型将样本预测为正例的情况,不过一个是预测正确一个是预测错误)

理解到这个程度就可以接触ROC曲线了
ROC curve

可以从图上面看出,FPR和TPR分别是ROC曲线的横坐标和纵坐标.对于ROC曲线有四个点需要单独拎出来理解,这对理解AUC也是很有帮助的.它们分别是:

  • [0, 0] : FPR,TPR均为0.根据式(1)(2)可以得到即TP=FP=0,其含义为模型将所有样本均预测为负例.
  • [0, 1] : FPR=0,TPR=1. 根据式(1)(2)可以得到即FP=FN=0,其含义为模型做出了没有任何错误的完美预测(由此可以看出ROC曲线越是向上凸(贴近上边界),曲线上的点的纵坐标(TPR)越是大,代表模型的性能越好).
  • [1, 0] : FPR =1,TPR=0.根据式(1)(2)可以得到即TP=TN=0,其含义为模型做出的预测全部错误(由此可以看出,ROC曲线越是贴近下边界(下凹),那么模型的性能越是差).
  • [1, 1] : FPR =1,TPR=1.根据式(1)(2)可以得到即TN=FN=0,其意义为模型将所有样本均预测为正例.

此外,对于图ROC curve中的三根曲线的理解:

  • 黑线: 几何含义即ROC图的对角线, 数值含义即TPR = FPR,物理含义即对于任意抽取的样本,模型将其中正例预测为正例的概率和将负例预测为正例的概率是相等的.这也就意味着和随机分类的性能一样.
  • 红蓝色线: 通常来讲, 我们的机器学习模型要优于随机分类器,因此我们经常看到的曲线往往都是像蓝色线和红色线一样的ROC曲线.它们相比黑线是有明显上凸的,同样的横坐标(FPR)下,红蓝线纵坐标(TPR)是大于黑线的,即代表模型将正例预测为正例的概率要大于将负例预测为正例的概率.同理可以看出蓝线模型由于红线模型.

如果要将上述的标准进行定量评估,就延伸得到了AUC, AUC即ROC曲线下方与坐标轴围成的面积大小

AUC(Area under the ROC curve)

AUC更直观地反应了ROC曲线向我们表达的模型分类能力.其数值大小(越大越好)代表了模型的性能优劣.说到这里,自然也就能够明白开篇关于AUC物理意义的阐述了,重申一遍即:AUC的本质含义反映的是对于任意一对正负例样本,模型将正样本预测为正例的可能性 大于 将负例预测为正例的可能性的 概率(例如: 当AUC = 0.5, ROC曲线为黑线时, 模型将一对正负例样本中的正样本预测为正例的概率为0.5,将负样本预测为正例的概率也为0.5,等效于随机分类预测).

  • AUC ＝ 1，代表完美分类器
  • 0.5 < AUC < 1，优于随机分类器
  • 0 < AUC < 0.5，差于随机分类器

如何绘制ROC曲线?
绘制曲线,必不可少的就是拿到曲线上的点,也就是需要get到每个点的TPR和FPR数值.
这里借用在知乎上看到的例子啦:

Case_1:
对于像SVM这样的硬分类器,分类得到的结果都是已经标记完成的二分类数值(0/1).就长下面这个样子:

由此很容易得到混淆矩阵Confusion Matrix:

Confusion Matrix
imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
已经拿到TP/FP/TN/FN,那么可以计算出TPR = 3/4, FPR = 2/4.从而可以绘制得到ROC曲线:

ROC_1

Case_2:
对于逻辑回归LR, 还有常用的xgb, lgb而言,分类的预测结果都是一个分类概率值.比如长这个样子:

这种情况,看起来就一脸懵逼,因为完全没有预测好的标签. 这个时候就需要我们先将预测结果进行排序,逐步调整分类的阈值, 依次将样本划为正例,然后计算TPR和FPR的数值进行绘图.

步骤:
threshold = 0.9, 即只有第一个样本被划分为正例,此时TPR = 1/4, FPR = 0.
threshold = 0.8, 此时TPR = 2/4, FPR = 0.
threshold = 0.7, 此时TPR = 2/4, FPR = 1/4.
…
threshold = 0.1, 此时TPR = 1, FPR = 1.
最后绘图即可.

说了这么多, 最后强调一下AUC作为评价指标的优势:

由于AUC是与TPR核FPR密切相关的,而TPR和FPR分别从正例,负例的角度上去衡量了模型的分类能力(具有跟精准率和召回率一样的能在样本极端不平衡的情况下进行有效的衡量优势),因此在样本极端不平衡的情况下,AUC依然能够做出合理的评价. :-)
All
AUC的计算方式:

  1. 最为直观的方式当然是绘制出ROC曲线,然后计算出曲线下包绕的面积,面积值即AUC.
    2.直接计算:假设总共有（m+n）个样本，其中正样本m个，负样本n个，总共有mn个样本对，计数，正样本预测为正样本的概率值大于负样本预测为正样本的概率值记为1，累加计数，然后除以（mn）就是AUC的值
woryo_
关注
模型评价指标大全，一张图展示所有风控建模模型评价指标
阿黎逸阳的博客
12-22 563
一文囊括风控建模中模型评价指标
AUC-评价一个二值分类器的优劣
没人关注
02-26 1695
AUC(area under the curve)是ROC曲线下的面积。所以，在理解AUC之前，要先了解ROC是什么。而ROC的计算又需要借助混淆矩阵，因此，我们先从混淆矩阵开始谈起。 混淆矩阵 假设，我们有一个任务：给定一些患者的样本，构建一个模型来预测肿瘤是不是恶性的。在这里，肿瘤要么良性，要么恶性，所以这是一个典型的二分类问题。 假设我们用y=1表示肿瘤是良性，y=0表示肿瘤是恶性。则我们可...
模型评估指标AUC（area under the curve）
热门推荐
03-07 14万+
AUC在机器学习领域中是一种模型评估指标。根据维基百科的定义，AUC(area under the curve)是ROC曲线下的面积。所以，在理解AUC之前，要先了解ROC是什么。而ROC的计算又需要借助混淆矩阵，因此，我们先从混淆矩阵开始谈起。 混淆矩阵 假设，我们有一个任务：给定一些患者的样本，构建一个模型来预测肿瘤是不是恶性的。在这里，肿瘤要么良性，要么恶性，所以这是一个典型的二分类...
模型的 AUC（Area Under the Receiver Operating Characteristic Curve）
galoiszhou的博客
01-16 1255
的指标，主要用于度量模型在不同阈值下的整体性能。ROC曲线是以不同的分类阈值为基础，绘制出模型的真正例率（True Positive Rate，又称为召回率）与假正例率（False Positive Rate）之间的关系。在一些机器学习框架和库中，计算AUC的函数通常已经包含在性能评估工具中。其中，y_true是实际的二分类标签，y_scores是模型预测的概率或分数。AUC即ROC曲线下的面积，其。函数来计算AUC值。
如何直观理解AUC评价指标？
对半独白
10-29 7万+
最近一直在思考如何直观理解AUC，查了维基百科的以及网上的讲解描述，感觉仍然很难把这个概念表述得通俗易懂，直到昨天周会后拿笔在纸上画了画，感觉似乎找到了一种比较有意思的理解方法，下面就请各位看官容我慢慢道来。
<zz>模式识别中分类器性能评估参数的解释---混淆矩阵，ROC
机器智能
05-27 2084
在使用MATLAB pattern recognition 工具箱做data classification时，最终评价classifier性能的好坏，工具箱给出了confusion matrix和roc指标，那如何解释这些指标呢？首先可以参考维基百科：confusion matrix, receiver operating characteristic. 很多时候，我们希望对一个二值分
机器学习模型评价指标ROC-AUC
AI World
09-22 1909
文章目录混淆矩阵真正率假正率ROC-AUC理想情况 混淆矩阵 首先，在试图弄懂ROC和AUC概念之前，你一定要彻底理解混淆矩阵的定义！ 混淆矩阵中有着Positive、Negative、True、False的概念，其意义如下： 称预测类别为1的为Positive（阳性） 预测类别为0的为Negative（阴性） 预测正确的为True（真） 预测错误的为False（伪）。 对上述概念进行组合，就产生了如下的混淆矩阵： 真正率假正率 然后，由此引出True Positive Rate（真正率）、False
预测模型评价指标.docx
09-04
预测模型评价指标 预测模型评价指标是预测模型性能评估的重要组成部分，主要从两个方面进行：区分度（Discrimination）和校准度（Calibration）。其中，区分度是指模型对样本的正确分类能力，而校准度是指模型对...
模型评价指标（混淆矩阵，AUC,ROC）
aggressive2019
10-30 939
模型的预测性： 正例覆盖率：表示正确预测的正例数在实际正例数中的比例，即Sensitivity，也叫 Recall=TPTP+FNRecall=\frac{TP}{TP+FN}Recall=TP+FNTP​，所有真正违约的样本中，能被模型检测出来的比例。 负例覆盖率：表示正确预测的负例数在实际负例数中的比例，Specificity=TNTN+FPSpecificity=\frac{TN}{TN+FP}Specificity=TN+FPTN​ AUC曲线：x轴为1-specificity，即负例错判率；y轴
《机器学习》—— AUC评估指标
weixin_73504499的博客
08-23 6775
一、什么是AUC、二、如何计算AUC的值、三、代码实现AUC值的计算、四、AUC的优缺点
机器学习中的AUC理解
Thinkgamer博客
04-15 5843
转载请注明出处：http://blog.youkuaiyun.com/gamer_gyt 博主微博：http://weibo.com/234654758 Github：https://github.com/thinkgamer 最近在做GBDT模型，里边用到胡模型评价方法就是AUC，刚好趁此机会，好好学习一下。 混淆矩阵(Confusion matrix) 混淆矩阵是理解大多数评价指...
模型性能评价指标之AUC
songbinxu的博客
04-11 1万+
模型性能评价指标之AUC 一、准确率和召回率 1.1 定义 在讨论ROC之前，先介绍准确率（Precision）和召回率（Recall）的概念。 - 预测+ 预测- 真实+ TP（真正例） FN（假反例） 真实- FP（假正例） TN（真反例） 准确率P的意义是，预测为+的样本里，真实label为+的样本比例 P=T...
【评价指标-AUC】
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
10-12 3942
转载 https://blog.youkuaiyun.com/u013019431/article/details/93138953 还可参考https://www.zhihu.com/question/39840928 【AUC】 AUC的计算方法同时考虑了分类器对于正例和负例的分类能力，在样本不平衡的情况下，依然能够对分类器作出合理的评价。
机器学习和统计里面的auc怎么理解？
PacosonSWJTU的博客
03-09 3415
转自：　https://www.zhihu.com/question/39840928 作者：小小丘　（该作者对 auc的意义 讲得非常棒, 感谢付出） 链接：https://www.zhihu.com/question/39840928/answer/84906286 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 看到前面答主的答
【转】为什么搜索与推荐场景用AUC评价模型好坏？
Toby的博客
07-22 888
【本文转自：https://mp.weixin.qq.com/s/uVZOfFayOzba5mALR5lHRQ】 在互联网的排序业务中，比如搜索、推荐、广告等，AUC（Area under the Curve of ROC）是一个非常常见的评估指标。网上关于AUC的资料很多，知乎上也有不少精彩的讨论，本文尝试基于自身对AUC的理解做个综述，水平有限，欢迎指出错误。 俗话说，提出正确的问题就成功了一半，本文先提出以下几个问题，希望大家读完能够加深对下列问题的理解。 AUC有几种理解？ A.
深入理解AUC
jankim1988的专栏
04-02 2854
深入理解AUC https://tracholar.github.io/machine-learning/2018/01/26/auc.html 在机器学习的评估指标中，AUC是一个最常见也是最常用的指标之一。 AUC本身的定义是基于几何的，但是其意义十分重要，应用十分广泛。 本文作者深入理解AUC，并总结于下。 AUC是什么 AUC的概率解释 概率解释的证明 AUC的排序特性 ...
机器学习篇-指标:AUC
fanfangyu的博客
02-11 2万+
AUC是什么东西？ AUC是一个模型评价指标，只能够用于二分类模型的评价，对于二分类模型来说还有很多其他的评价指标： 比如：logloss，accuracy，precision 在上述的评价指标当中，数据挖掘类比赛中，AUC和logloss是比较常见的模型评价指标 那么问题来了||ヽ(￣▽￣)ノミ|Ю为啥是AUC和logloss? 因为很多机器学习的模型对分类问题的预测结果都是概率，如果要计算accuracy的话，需要先将概率转换成类别，这就需要手动设置一个阈值，如果对一个样本的预测概率高于这个预测，就把这
模型评估标准-AUC
wyn1175397098zt的博客
04-08 623
图中表格里面的数据的看法是：P和N分别加上单元格内的T（true）或者F（false）举例：    假设我们有60个正样本，40个负样本，我们要找出所有的正样本。系统预测出50个，其中只有40个是真正的正样本，计算上述各指标：                                                             TP：将正类预测为正类数  40          ...
CTR 预测理论（十五）：分类评价指标 AUC 总结（优缺点、计算公式推导）
Dby_freedom的博客
05-04 1万+
个人复习总结分类评价指标 ROC，AUC 时候，私以为 AUC 作为 CTR 预估常用离线评估指标，有着丰富的含义和特性，现对其含义、优缺点、用途、计算公式推导等做一个盘点。
大模型评价指标
最新发布
03-31
<think>嗯，用户想了解大模型的评估指标，包括准确率、召回率、损失函数这些常见的，还有其他的性能评测标准。首先，我需要回忆一下常见的机器学习评估指标，然后考虑大模型特有的部分。 首先，损失函数确实是训练过程中用的，比如交叉熵损失、均方误差这些，但用户可能知道这些，需要确认是否属于评估指标。根据引用[1]，损失函数是训练用的，评估指标是测试时用的，所以可能应该分开讲。 然后，基础分类指标有准确率、精确率、召回率、F1值。但引用[2]和[4]提到准确率在类别不平衡时的局限性，所以需要强调这些指标的应用场景和限制。比如准确率在数据不平衡时可能不准确，这时候需要用F1或者AUC-ROC。 接下来，回归任务常用的指标，如MAE、MSE、RMSE、R²，这些都是标准指标，应该包括进去。 大模型可能涉及生成任务，比如自然语言处理中的BLEU、ROUGE、METEOR，这些是评价生成文本质量的指标。用户可能知道准确率这些，但生成任务的不同之处需要说明。 还有特定任务指标，比如问答中的EM和F1，摘要的ROUGE，代码生成的执行准确率。这部分需要具体例子，让用户理解不同任务的不同评估方法。 性能效率指标也很重要，比如推理速度、内存占用、FLOPs，特别是大模型在部署时的资源消耗，这些影响实际应用。 新兴评估维度，比如伦理安全性、偏见检测、鲁棒性，这些是大模型特有的问题，可能需要引用相关研究，但用户提供的引用中没有提到这些，可能需要根据常识补充。 另外，大模型的多任务评估，比如MMLU、HELM，这些基准测试集用来全面评估模型能力，需要提及。 用户的问题可能更关注除了传统指标之外的大模型特有的评估方法，所以需要平衡传统和新兴指标。同时，注意引用已有的资料，比如引用[1]-[4]提到的准确率、召回率、损失函数的关系，以及类别不平衡的问题。 需要检查是否有遗漏的重要指标，比如人类评估，虽然主观但重要。或者像Toxicity评分这样的伦理相关指标。 最后，组织答案时要分点清晰，可能按任务类型分类，比如分类、回归、生成任务，再讲效率、伦理等。确保每个指标解释清楚，并提到其适用场景和限制，帮助用户全面理解。</think>### 大模型评估指标详解 大模型的评估指标需要从多个维度综合衡量其性能，包括传统机器学习指标和大模型特有的评估标准。以下是主要分类及说明： --- #### 一、**基础分类指标** 1. **准确率（Accuracy）** 定义：预测正确的样本占总样本的比例，公式为： $$ \text{Accuracy} = \frac{TP + TN}{TP + TN + FP + FN} $$ 适用场景：类别平衡的简单分类任务。 局限性：在类别不平衡时可能失真（例如99%负样本的数据集，模型全预测负类也能达到高准确率）[^4]。 2. **精确率（Precision）与召回率（Recall）** - 精确率：预测为正类的样本中实际为正类的比例，公式： $$ \text{Precision} = \frac{TP}{TP + FP} $$ - 召回率：实际为正类的样本中被正确预测的比例，公式： $$ \text{Recall} = \frac{TP}{TP + FN} $$ 适用场景：关注正类检测的任务（如医疗诊断、欺诈检测）[^2][^3]。 3. **F1-Score** 定义：精确率和召回率的调和平均数，公式： $$ F1 = \frac{2 \times \text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}} $$ 适用场景：需要平衡精确率和召回率的场景（如信息检索）。 4. **AUC-ROC** 定义：通过绘制真正类率（TPR）与假正类率（FPR）的曲线下面积评估分类器整体性能，AUC值越大越好。 适用场景：类别不平衡或需要综合评估分类器排序能力的任务。 --- #### 二、**回归任务指标** 1. **均方误差（MSE）** 定义：预测值与真实值差的平方均值，公式： $$ \text{MSE} = \frac{1}{N} \sum_{i=1}^N (y_i - \hat{y}_i)^2 $$ 特点：对异常值敏感，反映误差的绝对大小。 2. **平均绝对误差（MAE）** 公式： $$ \text{MAE} = \frac{1}{N} \sum_{i=1}^N |y_i - \hat{y}_i| $$ 特点：鲁棒性更强，适合对异常值不敏感的任务。 --- #### 三、**生成任务专用指标** 1. **BLEU** 用途：评估机器翻译或文本生成的质量，通过比较生成文本与参考文本的n-gram重叠度。 公式： $$ \text{BLEU} = \text{BP} \times \exp\left( \sum_{n=1}^k w_n \log p_n \right) $$ 其中，BP（Brevity Penalty）惩罚过短输出。 2. **ROUGE** 用途：评估文本摘要或生成任务，关注召回率（如ROUGE-L基于最长公共子序列）。 3. **METEOR** 特点：引入同义词和词干匹配，比BLEU更接近人工评估结果。 --- #### 四、**大模型特有评估维度** 1. **任务多样性评测** - **MMLU（Massive Multitask Language Understanding）**：涵盖57个学科的多选题测试，评估模型跨领域知识掌握能力。 - **HELM（Holistic Evaluation of Language Models）**：从准确性、公平性、鲁棒性等维度综合评测。 2. **伦理与安全性** - **偏见检测**：通过特定数据集（如BOLD）评估模型输出中的性别、种族等偏见。 - **毒性评分（Toxicity Score）**：使用分类器检测生成内容中的攻击性语言。 3. **效率指标** - **推理速度（Tokens/Second）**：直接影响实际部署成本。 - **显存占用（GPU Memory）**：衡量模型对硬件资源的需求。 - **FLOPs（浮点运算次数）**：反映模型计算复杂度。 --- #### 五、**其他重要指标** 1. **损失函数（训练阶段）** 如交叉熵损失（分类）、均方误差（回归），用于优化模型参数，但需注意训练损失低不一定对应测试集高精度[^1]。 2. **人类评估（Human Evaluation）** 生成任务中常通过人工打分评估流畅性、相关性等主观指标。 --- ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值