关于AUC的另一个解释

最新推荐文章于 2022-07-21 12:03:27 发布
原创 最新推荐文章于 2022-07-21 12:03:27 发布 · 851 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习

本文探讨了AUC值与预测精度的关系，特别是在预测成交与否的应用场景中。指出AUC值较高时，模型倾向于召回更多正样本，可能导致精确率下降；而AUC较低时，模型召回较少正样本，反而可能提高精确率。

问题描述：同样的数据，不同的特征，预测是否成交时，当auc越高，精确率在0.6时预测数量越少；auc越低，精确率在0.6时预测数量却增多

本质：AUC的另一解释：一个正例，一个负例，预测为正的概率值比预测为负的概率值还要大的可能性

解释：auc低，预测为正的概率低，对应模型的召回低，整体预测为1的样本量就少，导致精确率高；auc高，偏向于将样本预测为正样本，会导致召回率越高，但精确率低。

 

参考温州：https://blog.youkuaiyun.com/u013385925/article/details/80385873

AUC的Python实现：Scikitlearn实战
AI天才研究院
08-09 1239
AUC的Python实现：Scikit-learn实战 1.背景介绍 在机器学习和数据挖掘领域中,评估模型性能是一个重要的环节。常用的评估指标有准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1分数等。然而,这些指标在处理不平衡数据集
AUCROC 原理与代码实战案例讲解
AI天才研究院
09-17 1129
好的，我会严格按照您提供的要求和模板，以逻辑清晰、结构紧凑、简单易懂的专业技术语言，为您撰写一篇关于"AUC-ROC原理与代码实战案例讲解"的深度技术博客文章。文章字数将超过8000字，并尽最大努力提供Mermaid流程图、数学公式的Latex格式等。请稍等片刻,我会尽快完成这篇高质量的技术博客文章。 AU
分类问题：导致AUC为0.5的原因及解决方案
qq_51174011的博客
03-09 1万+
神经网络：AUC为0.5 在训练模型的过程中遇到了AUC为0.5的情况，搜集了一些网络上的资料，简单的做了一个整理 1. 特征本身和标签之间没有关系 AUC为0.5，意味着模型趋于“随机预测”模型，ROC曲线近似于ROC图的对角线。 “特征本身和标签之间没有关系”看起来是一件不太可能发生的事，但实际中有可能会由调取数据过程出现的问题导致。 检查模型的特征和标签是否匹配可以检验该问题是否存在，若存在应匹配特征和标签 2. 原始数据的量纲差异过大 当原始数据的量纲相差过大，而标签中“0”的过多时，训练出的模型系
AUC计算方法总结
热门推荐
pzy20062141的专栏
09-24 12万+
1.  最直观的，根据AUC这个名称，我们知道，计算出ROC曲线下面的面积，就是AUC的值。事实上，这也是在早期 Machine Learning文献中常见的AUC计算方法。由于我们的测试样本是有限的。我们得到的AUC曲线必然是一个阶梯状的。因此，计算的AUC也就是这些阶梯 下面的面积之和。这样，我们先把score排序(假设score越大，此样本属于正类的概率越大)，然后一边扫描就可以得到我们想要
精度很高？论AUC的重要性
weixin_45342593的博客
02-14 3001
AUC的重要性 今天使用Dense预测Titanic生存数据，深刻体会到了AUC的重要性。 使用2层Dense准确率从0.6直接升到最高0.96，兴冲冲去做O2O优惠券使用预测，做完发现精确度提高很大，结果一算AUC悲剧了…… AUC（Area Under Curve）被定义为ROC曲线下与坐标轴围成的面积，显然这个面积的数值不会大于1。又由于ROC曲线一般都处于y=x这条直线的上方，所以AUC的...
AUC越大，正确率就越高？
LegenDavid's warehouse
01-15 3万+
问题   近日，一位朋友拿着两个模型预测效果比较的结果来咨询，当然是遇到了一个好像不太正常的现象才来咨询的。两个模型都是二分类结局的，应用常见的Logistic回归模型得到结果如下：模型A的正确率为85%，AUC为0.98；模型B的正确率为93%，AUC为0.92。那么选择哪个模型呢？ 很多朋友首先应该会质疑方法使用的正确性，不过出现这个问题的可能性很小，我们假设方法是正确
如何直观理解AUC评价指标？
对半独白
10-29 7万+
最近一直在思考如何直观理解AUC，查了维基百科的以及网上的讲解描述，感觉仍然很难把这个概念表述得通俗易懂，直到昨天周会后拿笔在纸上画了画，感觉似乎找到了一种比较有意思的理解方法，下面就请各位看官容我慢慢道来。
auc和roc曲线解释_ROC曲线和AUC —解释
weixin_26752765的博客
09-04 2300
auc和roc曲线解释ROC (receiver operating characteristics) curve and AOC (area under the curve) are performance measures that provide a comprehensive evaluation of classification models. ROC(接收机工作特性)曲线和AOC(曲...
分类模型评估之ROC-AUC曲线和PRC曲线
皮皮blog
06-30 10万+
http://blog.youkuaiyun.com/pipisorry/article/details/51788927 ROC曲线和AUC ROC（Receiver Operating Characteristic，接受者工作特征曲线）曲线和AUC常被用来评价一个二值分类器（binary classifier）的优劣。博文介绍ROC和AUC的特点，讨论如何作出ROC曲线图以及计算AUC。 AUC是现...
颜色分类leetcode-dsc-roc-curves-and-auc:dsc-roc-curves-and-auc
07-06
例如，一个人在猜测硬币是否落在正面上的准确率应该约为 50%。 这也可能导致在调整模型时出现问题。 如果您有一个包含罕见事件（例如疾病或中奖）的倾斜数据集，其中 1000 中只有 2 个阳性病例，那么即使是将所有...
数据分析（1）描述分析
vanni01的博客
09-09 721
一、基本统计分析 1、样本均值： 2、样本中位数： 3、样本分位数 4、样本众数 5、样本极差 6、样本方差：SUM((样本值-样本均值)^2 )/n-1 7、样本标准差：POWER（样本方差，2） 8、频数：样本值出现次数 9、峰度：大于0比标准正太陡，小于0比正太分布平缓 10、偏度：大于0峰值靠右侧，小于0峰值靠左侧 11、Z分位：样本值与样本均值相差多少个标准差（标准差倍数） 12、T分位：Z分位的线性变换（为了数据更好看一些） 二、探索分析 1、正态性检验：样本是否符合正太分布 2、卡方检验：交叉
二分类模型AUC评价法
FanJin的博客
11-22 2万+
对于二分类模型，其实既可以构建分类器，也可以构建回归（比如同一个二分类问题既可以用SVC又可以SVR，python的sklearn中SVC和SVR是分开的，R的e1701中都在svm中，仅当y变量是factor类型时构建SVC，否则构建SVR）。 二分类模型的评价指标很多，这里仅叙述AUC这个指标。AUC的具体原理此处不再叙述，可以参考相关资料，比如这个还行：ROC和AUC介绍以及如何计算AUC...
ROC曲线与AUC值
weixin_30872789的博客
11-21 1685
本文根据以下文章整理而成，链接： （1）http://blog.youkuaiyun.com/ice110956/article/details/20288239 （2）http://blog.youkuaiyun.com/chjjunking/article/details/5933105 1.概述 　　AUC（Area Under roc Curve）是一种用来度量分类模型好坏的一个标准。这样的...
ROC曲线与AUC指标
秋叶原 && Mike || 麦克
11-22 2255
本文为优快云博主「ice110956」的原创文章，转自: https://blog.youkuaiyun.com/ice110956/article/details/20288239 ROC曲线 ROC曲线的动机 对于0，1两类分类问题，一些分类器得到的结果往往不是0，1这样的标签，如神经网络，得到诸如0.5，0.8这样的分类结果。这时，我们人为取一个阈值，比如0.4，那么小于0.4的为0类，大于等于0.4...
ROC与AUC曲线
cuihuan1702的博客
10-13 4726
作者：京东白条 链接：https://www.zhihu.com/question/30643044/answer/222274170 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 精确率、召回率、F1、AUC和ROC曲线其实都是评价模型好坏的指标，而且相互之间是有关系的，只是侧重点不同，题主如果理解了各指标的定义就能找出他们的区别与联系，下面就
AUC性能指标计算方法及优缺点
小郁同学
07-21 2442
AUC是重要性能指标，除了Area under curve的面积意义以外，还可以通过统计上的概率进行解释。
一文理清楚，准确率，精度，召回率，真正率，假正率，ROC/AUC
weixin_44467105的博客
02-14 2755
一.混淆矩阵 如上图为一个混淆矩阵， True Positive （真正, TP）被模型预测为正的正样本； True Negative（真负 , TN）被模型预测为负的负样本 ； False Positive （假正, FP）被模型预测为正的负样本； False Negative（假负 , FN）被模型预测为负的正样本； 相对应的， True Positive Rate（真正率 , TPR）或灵...
多高的AUC才算高？
LegenDavid's warehouse
08-02 4729
问题的引出   AUC这个指标有两种解释方法，一种是传统的“曲线下面积”解释，另一种是关于排序能力的解释。例如0.7的AUC，其含义可以大概理解为：给定一个正样本和一个负样本，在70%的情况下，模型对正样本的打分高于对负样本的打分。可以看出在这个解释下，我们关心的只有正负样本之间的分数高低，而具体的分值则无关紧要。   我们在各种分享中常常会看到，某大牛的某模型
过拟合问题总结
wxgaws的博客
10-14 913
阿里DIN论文中，auc只有0.6，但是一样会出现过拟合问题。
AUC计算
最新发布
05-02
<think>嗯，用户想了解如何计算AUC或者寻找它的实现方法。首先，我需要回顾一下AUC的基本概念。AUC是ROC曲线下的面积，用来评估分类模型的性能，特别是在二分类问题中。根据之前的引用，ROC曲线横轴是FPR（假阳性率），纵轴是TPR（真阳性率），而AUC就是这条曲线下方的面积，值越大模型性能越好。 接下来，用户可能想知道具体的计算步骤。首先，我得确定他们是否了解ROC曲线的绘制方法。因为AUC的计算依赖于ROC曲线的点，所以可能需要先解释如何生成这些点。根据引用[2]，ROC曲线是通过不同阈值下的TPR和FPR绘制的，所以需要遍历所有可能的分类阈值，计算对应的TPR和FPR，然后连接这些点形成曲线。 然后是计算AUC的方法。通常有两种方法：梯形法和概率法。梯形法是将ROC曲线上的点按阈值排序，计算相邻点之间的梯形面积之和。概率法则更高效，通过比较正负样本对的预测概率，计算正样本概率大于负样本的概率，这其实就是AUC的另一种解释。 用户可能还需要具体的代码实现，比如用Python的sklearn库。需要提到sklearn中的roc_auc_score函数，以及如何传入真实标签和预测概率。同时，手动实现梯形法的话，需要先计算所有阈值下的TPR和FPR，然后排序并计算面积。这可能涉及到排序和遍历，需要注意边界情况，比如当多个样本有相同预测概率时的处理。 另外，用户的问题可能隐含着对AUC意义的理解。比如，AUC为0.5表示随机模型，1表示完美模型。引用[3]提到ROC曲线越往上拱，AUC越高，说明模型在查全率和虚警率之间的权衡更好。这部分可能需要解释清楚，以帮助用户理解为什么AUC是一个重要指标。 还要考虑用户可能的疑问，比如如何处理多分类问题。根据引用[2]，虽然AUC主要用于二分类，但多分类问题可以通过OvR或OvO策略扩展。不过这可能超出当前问题的范围，但可以简要提及。 最后，确保回答结构清晰，分步骤说明计算方法，并提供代码示例，同时解答常见问题，比如AUC值的解释和实现中的注意事项。需要检查LaTeX格式是否正确，行内公式用$...$，独立公式用$$...$$，并参考提供的引用资料来支持解释。</think>### AUC计算方法分步说明 #### 一、基本概念 AUC（Area Under Curve）是ROC曲线下面积，用于评估二分类模型性能。其值域为$[0,1]$，其中： - $0.5$表示随机猜测 - $1$表示完美分类器 - $<0.5$表示性能差于随机猜测 #### 二、核心计算步骤 1. **生成预测概率** 对每个样本输出属于正类的概率$p_i$ 2. **排序与阈值遍历** 将样本按预测概率**降序排列**，依次将每个样本的概率作为分类阈值 3. **计算TPR/FPR** - 真阳性率 $TPR = \frac{TP}{TP+FN}$ - 假阳性率 $FPR = \frac{FP}{FP+TN}$ 4. **绘制ROC曲线** 将不同阈值下的$(FPR, TPR)$点连接成曲线[^2] 5. **面积计算** $$AUC = \int_{0}^{1} TPR(FPR) \, dFPR$$ 常用两种实现方式： #### 三、具体实现方法 1. **梯形法（Trapezoidal Rule）** ```python from sklearn.metrics import roc_curve fpr, tpr, _ = roc_curve(y_true, y_score) auc = 0 for i in range(1, len(fpr)): auc += (fpr[i] - fpr[i-1]) * (tpr[i] + tpr[i-1])/2 ``` 2. **概率比较法（更高效）** $$AUC = \frac{\sum_{正样本} rank(正样本) - \frac{N_{正}(N_{正}+1)}{2}}{N_{正}N_{负}}$$ ```python import numpy as np positive = y_score[y_true == 1] negative = y_score[y_true == 0] sum_rank = sum([np.sum(positive > x) + 0.5*np.sum(positive == x) for x in negative]) auc = sum_rank / (len(positive)*len(negative)) ``` #### 四、sklearn直接调用 ```python from sklearn.metrics import roc_auc_score auc = roc_auc_score(y_true, y_score) # y_score必须是预测概率值 ``` #### 五、关键注意事项 1. 输入必须是**预测概率**而非类别标签 2. 当多个样本具有相同预测概率时，需要特殊处理排名（如取平均排名）[^3] 3. 对不平衡数据集仍能保持稳定性
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值