机器学习-混淆矩阵、ROC曲线和AUC图像

最新推荐文章于 2025-07-06 21:29:26 发布
原创 最新推荐文章于 2025-07-06 21:29:26 发布 · 3k 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入探讨了监督学习中模型评估的重要概念，包括混淆矩阵、准确率、召回率、精准率、F值等评价指标，以及ROC曲线和AUC值在二分类问题中的应用与解读。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在监督问题中，混淆矩阵可用作模型评估，一般常见于分类问题。

基本模型如图

横向代表真实值，纵向代表预测值。真正例指预测为正实际也为正的值，假负例是预测为负实际为正的值，假正例是预测为正实际为负的值，真负例指预测为负实际为负的值。

由此引出了模型效果评估的评价指标

准确率(Accuracy)=提取出的正确样本数/总样本数

召回率(Recall)=正确的正例样本数/样本中的正例样本数——覆盖率

精准率(Precision)=正确的正例样本数/预测为正例的样本数

F值=Precision*Recall*2 / (Precision+Recall) (即F值为正确率和召回率的调和平均值)

即

Accuracy=\frac{A+D}{A+B+C+D}

Recall=\frac{A}{A+B}

Precision=\frac{A}{A+C}

F=\frac{2*Recall*Precision}{Recall+Precision}

用的比较多的是准确率和召回率

 

ROC和AUC

ROC(Receiver Operating Characteristic)最初源于20世纪70年代的信号检测理论，描述的是分类混淆矩阵中FPR-TPR两个量之间的相对变化情况，其纵轴是“真正例率”(TPR)，横轴是“假正例率”(FPR)。

TPR=\tfrac{tp}{tp+fn}=\tfrac{A}{A+B}

FPR=\tfrac{fp}{fp+tn}=\tfrac{C}{C+D}

由图可知，当FPR越小，TPR越大时，模型效果越好，随着FPR的增加，TPR增加的越快，模型越好，反映了其在二分类问题描述的优势。

AUC(Area Under Curve)被定义为ROC曲线下的面积，由图知，该面积不会超过1.

简述下其计算方法：

AUC=\tfrac{\sum I(P_T, P_F)}{M*N}

即在有M个正样本,N个负样本的数据集里。一共有M*N对样本（一对样本即，一个正样本与一个负样本）。统计这M*N对样本里，正样本的预测概率大于负样本的预测概率的个数。

例子如下

当AUC的值为1时，即为完美分类器；当0.5<AUC<1，即为优于随机猜想；当AUC<0.5，比随机猜想还差，需反其道而行之。

【机器学习】了解 AUC - ROC 曲线
gongdiwudu的专栏
07-16 3万+
在机器学习中，性能测量是一项基本任务。因此，当涉及到分类问题时，我们可以依靠AUC - ROC曲线。
机器学习中的模型评估：ROC曲线与AUC值的深度解析
加入“Super Entity”，与全能开发团队共探AI智能体与数字人项目，开启前沿技术之旅。
03-20 2072
在机器学习项目中，评估模型的性能是确保模型有效性和可靠性的关键步骤。ROC曲线（Receiver Operating Characteristic Curve）和AUC值（Area Under Curve）是评估分类模型性能的重要工具，尤其是在处理不平衡数据集时。ROC曲线展示了模型在不同阈值下的真正例率（TPR）和假正例率（FPR），而AUC值则表示ROC曲线下的面积，用于衡量模型的整体性能。本文将从ROC曲线和AUC值的基本概念出发，通过一个完整的代码示例带你入门，并探讨其应用场景和注意事项。
【模型评估】混淆矩阵之 ROC-AUC曲线、PRC曲线
scxyz的博客
06-12 3629
ROC - AUC
【机器学习&深度学习】混淆矩阵解读
最新发布
qq_62223405的博客
07-06 993
混淆矩阵 = 模型“预测行为”的全景图，对角线越亮越好，非对角线越高说明“搞混了”。 准确率告诉你“分数”，混淆矩阵告诉你“哪道题错了”，让你有针对性地优化模型表现。
AUC ROC 混淆矩阵
zjkman163com的博客
07-28 398
分类模型的评价指标： 1.准确率 2.精准率 3.召回率 4.f1-Score 5.auc曲线 混淆矩阵 混淆矩阵中有着Positive、Negative、True、False的概念，其意义如下： 称预测类别为1的为Positive（阳性），预测类别为0的为Negative（阴性）。 预测正确的为True（真），预测错误的为False（伪）。 [公式] [公式] TPRate的意义是所有真实类别为1的样本中，预测类别为1的比例。 FPRate的意义是所有真实类别为0的样本中，预测类别为1的比例。 分类模型
混淆矩阵、ROC、AUC
gyq423的博客
09-10 6279
主要内容 （1）混淆矩阵（主要指标） （2）绘制ROC （3）AUC （4）多分类 ------------------------------------------------------------------------------------------------------------------------- 一、混淆矩阵 样本 预测值 1 0 实...
模型评价(一) AUC大法
weixin_34148340的博客
07-29 2272
问题： AUC是什么 AUC能拿来干什么 AUC如何求解（深入理解AUC） AUC是什么 混淆矩阵(Confusion matrix) 混淆矩阵是理解大多数评价指标的基础，毫无疑问也是理解AUC的基础。丰富的资料介绍着混淆矩阵的概念，这里用一个经典图来解释混淆矩阵是什么。显然，混淆矩阵包含四部分的信息： True negative(...
模型评价指标（混淆矩阵，AUC,ROC）
aggressive2019
10-30 900
模型的预测性： 正例覆盖率：表示正确预测的正例数在实际正例数中的比例，即Sensitivity，也叫 Recall=TPTP+FNRecall=\frac{TP}{TP+FN}Recall=TP+FNTP​，所有真正违约的样本中，能被模型检测出来的比例。 负例覆盖率：表示正确预测的负例数在实际负例数中的比例，Specificity=TNTN+FPSpecificity=\frac{TN}{TN+FP}Specificity=TN+FPTN​ AUC曲线：x轴为1-specificity，即负例错判率；y轴
机器学习-深度学习-常见评估方法-混淆矩阵、正确率、精确率、召回率、F值、预测概率、ROC曲线和AUC 均方误差、决定系数
05-14
大家好，这个资源是关于机器学习_深度学习 的常见评估方法，例如混淆矩阵、正确率、精确率、召回率、F值、预测概率、ROC曲线和AUC | 均方误差、决定系数、SVR | 超参数的设置 | 模型的过拟合与防止等方法，包含完整...
机器学习分类器的评价指标--混淆矩阵，F1-score，ROC曲线，AUC，KS曲线
aa_JamesJones的博客
10-03 3549
1. 混淆矩阵---确定截断点后，评价学习器性能 TP（实际为正预测为正），FP（实际为负但预测为正），FN（实际为正但预测为负），TN（实际为负预测为负） 通过混淆矩阵我们可以给出各指标的值： 查全率（召回率，Recall）：样本中的正例有多少被预测准确了，衡量的是查全率，预测对的正例数占真正的正例数的比率： 查全率 = TP / (TP+FN) 查准率（精准率，Precision...
五分钟秒懂机器学习混淆矩阵、ROC和AUC
TechFlow的博客
04-29 1814
本文始发于个人公众号：TechFlow，原创不易，求个关注 今天是机器学习专题的第18篇文章，我们来看看机器学习领域当中，非常重要的其他几个指标。 混淆矩阵 在上一篇文章当中，我们在介绍召回率、准确率这些概念之前，先讲了TP、FP、FN、和FP这几个值。我们再来简单地回顾一下，我们不能死记硬背这几个指标，否则很容易搞错，并且还容易搞混。我们需要从英文入手来理解，其中的T表示真，可以理解成预测正确...
分类器评估指标——混淆矩阵 ROC AUC KS AR PSI Lift Gain
snowdroptulip的博客
01-15 7375
以下混淆矩阵、ROC、KS值、AR值都是二分类模型的评估指标，PSI是评估模型稳定性的指标。 1、混淆矩阵 混淆矩阵是最简单、最基础的分类的评估指标，在这里只讲二分类的混淆矩阵，多分类与二分类类似。 以下是二分类的混淆矩阵实现： from sklearn.metrics import confusion_matrix import matplotlib.pyplot as ...
机器学习 | 混淆矩阵和ROC曲线
Robin_hlt的博客
02-24 1377
机器学习系列之混淆矩阵和ROC曲线
机器学习模型评估混淆矩阵、ROC曲线和AUC以及PR曲线
热门推荐
幸运的Alina的博客
08-15 1万+
       在机器学习中，当我们基于某个业务建立模型并训练后，接下来我们需要评判模型好坏的时候需要基于混淆矩阵，ROC和AUC等来进行辅助判断。 混淆矩阵也叫精度矩阵，是用来表示精度评价，为N *N的矩阵，用来判别分类好坏的指标。 混淆矩阵中有以下几个概念： TP(True Positive): 被判定为正样本，实际也为正样本 FN(False Negative):伪阴性 ，被判定为负样...
混淆矩阵，P-R曲线和ROC&AUC
Rover的博客
10-22 2095
这是一篇总结文 混淆矩阵 混淆矩阵左侧是真实信息，上放是样本预测的信息。所以一个二分类的混淆矩阵为。 我们常说的Precision(精确率)，Recall(召回率)，Accuray(准确率)。就可以从上述计算得来。 P=Precision=TPTP+FP(1) \tag{1}P=Precision=\frac{TP}{TP+FP} P=Precision=TP+FPTP​(1) R=Recall=TPTP+FN(2) \tag{2}R=Recall=\frac{TP}{TP+FN} R=Recall=.
【超详细】机器学习sklearn之分类模型评估 混淆矩阵、ROC曲线、召回率与精度、F1分数
weixin_50989751的博客
04-01 7847
机器学习之分类模型评估 混淆矩阵、ROC曲线、召回率与精度、F1f分数 sklearn学习
绘制混淆矩阵_自己画混淆矩阵，防止懵逼
weixin_42299427的博客
01-15 2521
学习机器学习，刚刚读混淆矩阵的时候一脸懵逼，好不容易搞懂了，很快就忘记了。如果能自己绘制出来就会有更深的理解。 关于混淆矩阵，有的书上行表示真实值，列表示预测值。而有的书上行表示预测值，列表示真实值。为了方便记忆，防止懂了又忘，强烈建议统一采用《统计学习方法》的方式——行表示真实值，列表示预测值，如下图：行：真实值 列：预测值接下来就是填空： 1）...
AUC画图与计算
weixin_30332705的博客
06-05 1095
利用sklearn画AUC曲线 from sklearn.metrics import roc_curve labels=[1,1,0,0,1] preds=[0.8,0.7,0.3,0.6,0.5] fpr, tpr, thresholds = roc_curve(labels, preds) print(fpr)print(tpr)print(thresholds) ...
ROC-AUC图形绘制
love1005lin的博客
11-03 2207
AUC举例数据 y = [1,1,1,1,1,1,0,0,0,1,1,0,0,1,1,0,0,1,1,0,0] prob = [0.42,0.73,0.55,0.37,0.57,0.70,0.25,0.23,0.46,0.62,0.76,0.46,0.55,0.56,0.56,0.38,0.37,0.73,0.77,0.21,0.39] 导包 import numpy as np #线性插值 from scipy import interp import matplotlib.pyplot as plt
头歌机器学习ROC曲线与AUC
02-28
### 机器学习中的ROC曲线和AUC #### 定义与背景 ROC曲线，即接收者操作特征曲线，在二战时期首次应用于信号检测领域，用于侦测战场上的敌军载具。如今，这一工具广泛应用于评估二分类模型的性能[^2]。 对于给定的数据集，当存在两个类别时，可以通过调整决策边界来改变预测的结果分布。此时，真阳性率（TPR）和假阳性率（FPR）成为衡量模型好坏的关键指标： - **真阳性率 (TPR)**：表示实际为正类且被正确识别的比例； - **假阳性率 (FPR)**：表示实际为负类却被错误地标记为正类的概率； 通过绘制不同阈值下TPR随FPR变化的趋势图即可得到一条完整的ROC曲线[^3]。 #### AUC的意义 AUC代表的是ROC曲线下方所围成区域的面积大小，取值范围介于0至1之间。理论上讲，如果某个分类器完全随机猜测，则其对应的AUC应接近0.5；而理想情况下，优秀的分类器应当具备较高的AUC得分，意味着更有可能将真实的正样本排在前面[^4]。 具体来说，AUC可以按照如下公式进行计算： \[ AUC=\frac{\sum_{i \in \text { positive class }} \operatorname{rank}_{i}-\frac{M(1+M)}{2}}{M \times N} \] 其中\( M \)指代正类的数量，\( N \)则对应总测试样例数减去正类数量后的剩余部分。 #### 实际应用场景 为了更好地理解和应用这两个概念，考虑一个简单的例子——垃圾邮件过滤系统。假设有一个训练好的逻辑回归模型用来区分正常邮件和垃圾邮件。那么在这个场景里，“正类”就是那些确实属于垃圾邮件的消息。随着设定的不同截断概率，我们可以观察到不同的误报情况，并据此画出相应的ROC曲线及其下方的AUC数值。 ```python from sklearn.metrics import roc_curve, auc import matplotlib.pyplot as plt # 假设y_true是我们的真实标签,y_score是模型给出的概率分数 fpr, tpr, thresholds = roc_curve(y_true, y_score) plt.figure() lw = 2 plt.plot(fpr, tpr, color='darkorange', lw=lw, label=f'ROC curve (area = %0.2f)' % auc(fpr,tpr)) plt.plot([0, 1], [0, 1], color='navy', lw=lw, linestyle='--') plt.xlim([0.0, 1.0]) plt.ylim([0.0, 1.05]) plt.xlabel('False Positive Rate') plt.ylabel('True Positive Rate') plt.title('Receiver Operating Characteristic example') plt.legend(loc="lower right") plt.show() ``` 上述代码片段展示了如何利用Python库`sklearn`快速生成ROC曲线并计算AUC值的方法[^1]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值