机器学习笔记1：ROC和GINI

最新推荐文章于 2025-06-29 08:59:54 发布
最新推荐文章于 2025-06-29 08:59:54 发布
阅读量2.1k 收藏 2
点赞数 1
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_40105364/article/details/81322917
在不平衡分类问题中，如贷款反欺诈，accuracy rate不再适用。ROC和AUC成为评估模型性能的重要指标。ROC曲线通过TPR（真阳性率）和FPR（假阳性率）展示模型的敏感性和特异性，而AUC是ROC曲线下的面积，反映了模型的泛化能力。Gini系数与AUC正相关，用于衡量分类效果。

ROC和GINI

 

一、imbalanced classification problem

一些简单的分类问题可以用accuracy来衡量分类模型的优劣，而对于观测样本差距较大的分类问题（imbalanced classification problem）则须采取其他方法衡量。

例如，贷款反欺诈问题，假设总共有1000个诚实样本，10个欺诈样本，如何评价以下两个模型的优劣：

模型1：10个欺诈样本中未识别7个，1000个诚实样本中有50个被误判为欺诈。

模型2：10个欺诈样本中未识别3个，1000个诚实样本中有100个被误判为欺诈。

模型1的出现57个差错，模型2出现103个差错，如果按照accuracy rate判断，模型1显然胜出。但是，少量欺诈却会给银行带来重大损失，换句话说，欺诈被误判为诚实的代价，要远远高于诚实被误判为欺诈的代价。在这种情况下，我们需要寻找其它衡量模型优劣的方法替代accuracy rate。ROC和AUC是一种常见的替代方法。

二、ROC

（一）分类结果的四种情况

我们将上述问题的实际欺诈样本称为positive，简写为P；实际诚实样本称为negative,简写为N。模型预测的欺诈的样本为classified positive,简写为CP；预测的诚实样本为classified negative,简写为CN。则分类结果有以下四种情况：

最低0.47元/天 解锁文章

新学期VIP享超值加赠
机器学习11（ROC曲线）
Roy_Allen的博客
12-18 802
ROC-AUC 评估指标
第十一篇：ROC曲线在机器学习中的应用：案例分析与代码实现
AI天才研究院
05-15 806
1. 背景介绍 1.1 机器学习中的评估指标 在机器学习领域，模型的性能评估是至关重要的环节。它不仅可以帮助我们了解模型的泛化能力，还可以指导我们进行模型选择和参数调优。评价指标的选择取决于具体的任务，例如分类任务常用的指标有准确率、精确率、召回率、F1-score等，回归任务常用的指标有均方误
【机器学习】ROC曲线
慢热型网友的博客
09-22 2405
接受者操作特性曲线（receiver operating characteristic curve，简称ROC曲线），又称为感受性曲线（sensitivity curve）。在二战期间，雷达系统被广泛应用于检测敌方飞机。为了优化雷达系统的性能，研究人员需要找到一种评估雷达系统的性能的方法。他们引入了信号检测理论中的TPR（真阳性率）和FPR（假阳性率）的概念。TPR表示在所有实际存在目标的情况下，系统正确检测到目标的比例。FPR则表示在所有实际不存在目标的情况下，系统错误地报告目标存在的比例。
机器学习——ROC
读书札记
03-16 4422
一、ROC原理介绍 回到ROC上来， 百度百科对roc的解释如下：ROC曲线指受试者工作特征曲线(receiver operating characteristic curve), 是反映敏感性和特异性连续变量的综合指标,是用构图法揭示敏感性和特异性的相互关系，它通过将连续变量设定出多个不同的临界值，从而计算出一系列敏感性和特异性，再以敏感性为纵坐标、（1-特异性）为横坐标绘制成曲线，曲
用Gini基尼系数，徒手‘种’出一棵决策树（含完整案例+手算）
最新发布
MoSTChillax的博客
06-29 1202
本文介绍了决策树中的Gini系数原理与应用。Gini系数(0-1)衡量数据集纯度，值越低表示分类越纯净。通过Gini Index计算属性划分后的加权平均纯度，选择最优划分属性。以贷款审批为例，逐步计算年龄、收入等属性的Gini Index，确定"收入水平"为最佳根节点（Gini=0.1665）。决策树构建遵循整体最优原则，允许牺牲个别样本准确性以保证泛化能力。关键点包括：Gini系数定义、属性划分评估方法、决策树的构建逻辑和泛化特性。
ROC曲线、AUC、Gini系数和KS值
qq_14809159的博客
07-21 9365
ROC曲线和AUC ROC曲线是指受试者工作特征曲线/接收器操作特性曲线（receiver operating characteristic curve），是反应敏感性和特异性连续变量的综合指标，利用构图法揭示敏感性和 特异性的相互关系，它通过将连续变量设定出多个不同的临界值，从而计算出一系列敏感性和特异性，再以敏感性为纵坐标，特异性为横坐标绘制成曲线，曲线下的面积（AUC）越大，诊断准确性越高...
机器学习知识点全面总结
热门推荐
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
04-12 16万+
机器学习按照模型类型分为监督学习模型、无监督学习模型和概率模型三大类,文章对十大机器学习算法进行详细介绍并阐述机器学习其他概念问题，可作为机器学习初学者学习使用。
机器学习知识点复习 上（保研、复试、面试）百面机器学习笔记
weixin_62371528的博客
03-03 2252
机器学习知识点复习（保研、复试、面试都可用）根据百面机器学习书做的笔记，快速复习知识点：特征工程、模型评估、经典算法、降维、非监督学习。
ROC学习笔记
03-16
ROC（Receiver Operating Characteristic）曲线是一种用于评估分类模型性能的图形表示方法，常被应用在统计学、机器学习和信息检索等领域。ROC 曲线能够直观地展现出分类器在不同阈值下的真阳性率（True Positive ...
机器学习笔记---潦草小狗
m0_75210954的博客
10-31 881
1.机器学习是从数据中自动分析获得模型，并利用模型对未知数据进行预测。2.数据集的构成-----》特征值+目标值#每一行称为样本#有些数据集可以没有目标值#datasets.load_*() 获取小规模数据集sklearn.datasets.load_iris() 加载并返回鸢尾花数据集sklearn.datasets.load_boston() 加载并返回波士顿房价数据集#datasets.fetch_*() 获取大规模数据集。
机器学习中的ROC曲线理解和实战
ouzhong11的博客
10-23 7857
ROC最简单的理解，一看就懂了
机器学习 | 计算分类算法的ROC和AUC曲线以随机森林为例
python收藏家的博客
07-24 3267
总之，计算随机森林分类器的ROC AUC分数在Python中是一个简单的过程。sklearn.metrics模块提供了计算ROC曲线、ROC AUC评分和PR曲线的函数。ROC曲线和PR曲线是评估二值分类器性能的有用工具，它们可以帮助基于不同评估指标之间的权衡来选择分类器的最佳阈值。PR（precision-recall）曲线是二元分类问题的另一个评估指标。PR曲线是针对不同分类阈值的精确度（y轴）对召回率（x轴）的图。
机器学习ROC图解读
yuki_2000的博客
06-18 2523
1. 分类器评估指标对于二分类问题，可将样例根据其真实类别和分类器预测类别划分为： 真正例（True Positive，TP）：真实类别为正例，预测类别为正例。 假正例（False Positive，FP）：真实类别为负例，预测类别为正例。 假负例（False Negative，FN）：真实类别为正例，预测类别为负例。 真负例（True Negative，TN）：真实类别为负例，预测类别为负例。精确度( precision )：TP / ( TP+FP ) = TP / P 召回率（recall）：TP
机器学习——分类模型评估、ROC曲线、PR曲线
weixin_74340055的博客
04-16 2809
ROC曲线（受试者工作特征曲线）和PR曲线（精确率-召回率曲线）是两种用于评估分类模型性能的重要工具。ROC曲线以真正例率（TPR，即召回率）为纵轴，假正例率（FPR）为横轴，通过不同阈值下的TPR和FPR绘制而成。PR曲线则以召回率为横轴，精确率为纵轴，同样通过不同阈值下的召回率和精确率绘制。导入数据后，就需要选择分类器来进行训练，这里我选择了以下几个分类模型。逻辑回归（Logistic Regression）：逻辑回归是一种广义的线性回归模型，常用于处理因变量为二分类（0或1）的问题。
算法金 | 一文彻底理解机器学习 ROC-AUC 指标
算法金「全网同名」的博客
06-11 1843
ROC 曲线，即接收者操作特征曲线，ROC曲线产生于第二次世界大战期间，最早用在信号检测领域，侦测战场上的敌军载具（飞机、船舰）。现在是是用来评价二分类模型性能的常用图形工具。它通过显示真阳性率（True Positive Rate，简称 TPR）与假阳性率（False Positive Rate，简称 FPR）之间的权衡来帮助我们理解模型的分类能力。AUC，即曲线下面积（Area Under Curve），是 ROC 曲线下面积的一个数值表示。它提供了一个定量的指标，用来衡量分类模型的整体表现。
机器学习——常见的分类模型评估指标，ROC曲线和PR曲线分析
weixin_74731967的博客
04-16 1769
在机器学习领域，评估分类模型的性能是至关重要的一步，它可以帮助我们了解模型的准确性和泛化能力。在分类问题中，准确度（Accuracy）、精确率（Precision）、召回率（Recall）和F1分数是最为常用的评估指标。（1）混淆矩阵是监督学习中的一种用于评估分类模型性能的可视化工具，主要用于模型的分类结果和实例的真实信息的比较。（2）使用混淆矩阵的好处在于它能够提供一种直观的方式来理解模型在各个类别上的表现，尤其是在类别不平衡的情况下。
[机器学习]模型评估指标：ROC/AUC，KS，GINI，Lift/Gain, PSI 总结
qq_41111337的博客
03-19 1万+
目录 背景介绍 一 ROC曲线和AUC值 二 KS曲线 三 GINI系数 四 Lift , Gain 五 模型稳定度指标PSI 背景介绍 在模型建立之后，必须对模型的效果进行评估，因为数据挖掘是一个探索的过程，评估-优化是一个永恒的过程。在分类模型评估中，最常用的两种评估标准就是KS值和GINI, AUC值.可能有人会问了，为什么不直接看正确率呢？你可以这么想，如果一批样本中，正样本占到90%，负样本只占10%，那么我即使模型什么也不做，把样本全部判定为正，也能有90%的正确率咯？所以，用AUC值够保证你在
机器学习中常用的概念：ROC曲线和AUC值，到底是什么？
m0_72274883的博客
01-08 2849
ROC曲线和AUC值是评价分类监督学习性能的重要量度指标。ROC曲线又被称为“接受者操作特征曲线”“等感受性曲线”，主要用于预测准确率情况。最初ROC曲线运用在军事上，现在广泛应用在各个领域，比如判断某种因素对于某种疾病的诊断是否有诊断价值。曲线上各点反映着相同的感受性，它们都是对同一信号刺激的反映，只不过是在几种不同的判定标准下所得的结果而已。ROC曲线下方的区域面积又被称为AUC值，是ROC曲线的数字摘要，取值范围一般为0.5~1。使用AUC值作为评价标准是因为很多时候ROC曲线并不能清晰地说明哪个……
机器学习：评价分类结果（ROC 曲线）
ab1213456的博客
08-01 844
一、基础理解 　1）定义 ROC（Receiver Operation Characteristic Curve） 定义：描述 TPR 和 FPR 之间的关系； 功能：应用于比较两个模型的优劣； 模型不限于是否通过极度偏斜的数据训练所得； 比较方式：ROC 曲线与坐标图形边界围成的面积，越大模型越优； TPR（True Pos...
机器学习模型评估：ROC与PR曲线解析
机器学习是人工智能的一个分支，它通过构建算法来分析和解读数据，并以此为基础来实现模式识别、预测和决策。机器学习的核心是设计可以自动从数据中学习和改进的算法系统。该领域涵盖多种技术和理论，如监督学习、无...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值