机器学习笔记十五：分类问题的性能度量(混淆矩阵,正确率,召回率,ROC,AUC)

最新推荐文章于 2025-05-08 08:32:31 发布
最新推荐文章于 2025-05-08 08:32:31 发布
阅读量1.6w 收藏 54
点赞数 10
CC 4.0 BY-SA版权
分类专栏： 机器学习理论 文章标签： 机器学习 ROC
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/xierhacker/article/details/70903617
本文详细介绍了机器学习中用于评估分类模型性能的度量标准，包括混淆矩阵、精确率、召回率、准确率和F值。重点讲解了ROC曲线及其相关概念FPR和TPR，强调了在正负样本不平衡的情况下，仅依赖准确率可能带来的误导，而ROC曲线和AUC能提供更全面的评估。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

这一部分总结分类问题常用的性能度量手段,这里涉及到的概念有混淆矩阵,正确率,召回率,ROC,AUC等等.这些概念都是比较简单,同时也是非常非常常用的.需要仔细理解.

一.混淆矩阵(Confusion Matrix)

一开始需要说一下的就是混淆矩阵啦,混淆矩阵是一个很简单很基础的东西.可以作为分类问题一个比较基本的可视化工具.
通常来说混淆矩阵的行代表的是实际类别,列代表的是预测的类别.要是这样说有一些抽象的话,通过一个例子可以直观秒懂.这里使用维基百科上面的例子:https://en.wikipedia.org/wiki/Confusion_matrix
假设一共有27只动物,其中有8只猫,6条狗,13只兔子.最终的分类的结果如下图:
这里写图片描述
上面这幅图可以这么看,比如第一行,可以看做是猫中有5只预测为猫(即预测正确),有3只预测为狗,0只预测为兔子. 同样第二行可以理解为狗中有2只预测为猫,有3只预测为狗,1只预测为兔子…..依次类推.
可以看出来,对角线上面的是每一类别被正确预测的数量(概率),意味着,一个好的分类器得到的结果的混淆矩阵应该是尽可能的在对角线上面”成堆的数字”,而在非对角线区域越接近0越好,意味着预测正确的要多,预测错误的要少.

然后就是大多数人都更加熟悉的另外一种混淆矩阵的形式了.(维基百科上面叫做混淆表格(Table of confusion)),就是把一个二类分类问题下面的方式来表示:

真正例(True Positive;TP):将一个正例正确判断成一个正例
伪正例(False Positive;FP):将一个反例错误判断为一个正例
真反例(True Negtive;TN):将一个反例正确判断为一个反例
伪反例(False Negtive;FN):将一个正例错误判断为一个反例

上面这个概念很多初学者应该会反应比较难记下来,简写啊什么的.其实你可以把前面的那个字母看做是否判断正确,后面那个字母看做预测的类型.
比如,TN,看到T,说明预测是正确的,后面那个是预测的类型,是N(反例),也就是说,是正确的把反例预测为了反例.同样可以

最低0.47元/天 解锁文章
分类模型评估：混淆矩阵、准确率、召回率、ROC
Laurence的技术博客
02-13 4210
在二分类问题中，混淆矩阵被用来度量模型的准确率。因为在二分类问题中单一样本的预测结果只有Yes or No，即：真或者假两种结果，所以全体样本的经二分类模型处理后，处理结果不外乎四种情况，每种情况都有一个专门称谓，如果用一个2行2列表格描述，得到的就是“混淆矩阵”。其中，假阳性（FP）又被称为“Type 1 Error”，假阴性（FN）又被称为“Type 2 Error”。在所有“预测为真”（TP+FP）的数据中，有多少是“真得预测对了”（TP）的? 这个百分比叫“准确率”（Precision）在所有“实际
多分类问题下准确率python_准确度(accuracy)、精确率（precision)、召回率（recall）、F1值 谈谈我的看法...
weixin_29042035的博客
02-11 5821
目录前言准确度、精确率、召回率、F1值作为评估指标，经常用到分类效果的评测上。比较好理解的二分类问题，准确度评估预测正确的比例，精确率评估预测正例的查准率，召回率评估真实正例的查全率。如何把这些评估指标用到多分类上呢，比如有三个类别A、B、C，准确度好理解，只要关系是否预测正确即可；那么精确率和召回率怎么理解呢？我们可以把多分类问题拆分成多个二分类问题，比如A类别是否预测正确，B类别是否预测正确，...
混淆矩阵（Confusion Matrix）
最新发布
大摆王的博客
05-08 1933
混淆矩阵（Confusion Matrix）是一个用于评估分类模型性能的工具，特别是在机器学习和统计学领域。它展示了模型预测结果与实际结果之间的关系。混淆矩阵通常用于二分类或多分类问题中，但也可以扩展到更多类别的情况。
机器学习（五）之评价指标：二分类指标、多分类指标、混淆矩阵、不确定性、ROC曲线、AUC、回归指标
snail9610的博客
05-04 1万+
文章目录0 本文简介1 二分类指标1.1 二分类时的错误类型1.2 不平衡的数据1.3 混淆矩阵1.4 考虑不确定性1.5 准确率-召回率曲线1.6 ROC与AUC2 多分类指标3 回归指标4 在模型选择中使用评估指标 0 本文简介 我们使用精度来评估分类性能，使用R2R^2R2评估回归性能，但是监督模型在给定数据集上的表现有多种方法。我们还有很多评估指标，本文简要介绍二分类指标、多分类指标，以及...
Python实现分类器性能度量（混淆矩阵，正确率，准确率，召回率，ROC，AUC）
zryowen123的博客
04-16 1万+
1.混淆矩阵 对于二分类问题，可将样例根据其真实类别与分类器预测类别的组合划分为: 真正例（true positive）：将一个正例正确判断为正例 假正例（false positive）：将一个反例错误判断为正例 真反例（true negative）：将一个反例正确判断为反例 假反例（false negative）：将一个正例错误判断为反例 令TP、FP、TN、FN分别表示对应的样例数...
【分类模型性能衡量指标 】混淆矩阵，精确率，准确率，召回率，Roc曲线
ji_meng的博客
07-20 1689
文章目录前言混淆矩阵精确率 & 准确率 & 召回率Roc曲线 & Auc曲线 前言 在分类问题中，想要衡量性能指标 其实推荐系统中用的更多， 采用scikit-learn来实现，用到的是sklearn.metrics模块下的函数 官网链接 混淆矩阵 混淆矩阵（Confusion Matrix）是一个将分类问题按照真实情况与判别情况两个维度进行归类的矩阵。 以二分类问题为例，首先我们需要明确数据是positive还是negative。 对于实际值中可以用一个2×2的矩阵表示 真实值是
分类模型评价，准确率、召回率，混淆矩阵
alex1801
01-18 1460
目录 1、混淆矩阵 2、指标计算 2.1、准确率 accuracy 2.2、错误率 erroe rate 2.3、精确率/查准率/精度 percision 2.4、召回率/查全率 recall 3、综合指标 F-Measure 考虑一个二分问题，即将实例分成正类（positive）或负类（negative）。对一个二分问题来说，会出现四种情况。 TP（True Positive）：是正类并且也被 预测成正类的数目； 　　FN（False Negative）：正类被预测成负类的数目； 　
机器学习基础概念：查准率、查全率、ROC、混淆矩阵、F1-Score 机器学习实战：分类器
12-21
在机器学习领域，评估分类器性能是至关重要的。本文将深入探讨几个关键概念：查准率（Precision）、查全率（Recall）、ROC曲线、混淆矩阵以及F1-Score，这些都是衡量分类器效能的重要指标。 查准率（Precision）是...
机器学习评估指标——混淆矩阵、准确率、精确率、召回率、F1分数、ROC曲线和AUC
weixin_51375278的博客
12-30 5509
机器学习里面ROC和AUC的全面理解
多分类问题中，计算每一个类的准确率
m0_65567747的博客
07-26 1997
提供一种计算各类别准确率的方法
多分类评价指标：准确率、精确率、召回率、F1值
热门推荐
m0_64748541的博客
04-22 3万+
准确率、精确率、召回率、F1值 定义： 准确率（Accuracy）：正确分类的样本个数占总样本个数， A = (TP + TN) / N 精确率（Precision）(查准率)：预测正确的正例数据占预测为正例数据的比例， P = TP / (TP + FP) 召回率（Recall）(查全率)：预测为正确的正例数据占实际为正例数据的比例， R = TP / (TP + FN) F1 值（F1 score）： 调和平均值， F = 2 / (1/P + 1/R) = 2 * P...
分类问题的评价指标：多分类【Precision、 micro-P、macro-P】、【Recall、micro-R、macro-R】、【F1、 micro-F1、macro-F1】
u013250861的博客
02-20 3万+
一、混淆矩阵 对于二分类的模型，预测结果与实际结果分别可以取0和1。我们用N和P代替0和1，T和F表示预测正确和错误。将他们两两组合，就形成了下图所示的混淆矩阵（注意：组合结果都是针对预测结果而言的）。 由于1和0是数字，阅读性不好，所以我们分别用P和N表示1和0两种结果。变换之后为PP，PN，NP，NN，阅读性也很差，我并不能轻易地看出来预测的正确性与否。因此，为了能够更清楚地分辨各种预测情况是否正确，我们将其中一个符号修改为T和F，以便于分辨出结果。 P（Positive）：代表 1 N（Negat
混淆矩阵代码
zhulewen的博客
08-15 2899
混淆矩阵绘制
错误类型、混淆矩阵及目标检测常用评价指标
weixin_44966641的博客
07-08 2424
目标检测常用评价指标 本文主要参考陈恺大佬在B站商汤账号的介绍mmdetection的视频。 检测结果的正确/错误类型 真阳性（Ture Positive）：算法检测到了某类物体（Positive），而实际图中也确实有这个物体，检测结果正确（True）。 假阳性（False Positive）：算法检测到了某类物体（Postive），但是图中没有这个物体，检测结果错误（False）。 又称为误检 假阴性（False Negtive）：算法没有检测到某类物体（Negtive），但是图中有这个物体，检测结果错误
不平衡数据集中多分类问题下的准确率、精度、召回率以及F1-score的计算
qq_58110331的博客
01-04 3548
前面我们已经介绍了不平衡数据集中二元分类问题下的多个度量指标，例如：精度、召回率等。但是在现实生活中，我们要解决的问题往往是多分类问题，那对于多分类问题我们应如何利用这些度量，则是本篇文章要解决的问题。
多分类任务中精确率(Precision)、召回率(Recall)以及准确率(Accuracy)评估指标的计算
m0_38052500的博客
12-29 2万+
多分类中精确率和召回率的计算
混淆矩阵与异常检测：分类器性能评估的实践
AI天才研究院
01-07 1037
1.背景介绍 随着数据量的增加，人工智能和机器学习技术已经成为了许多领域的核心技术。在这些领域，分类器是最常用的算法之一，它可以将输入数据分为多个类别。然而，为了确保分类器的准确性和可靠性，我们需要对其性能进行评估。在本文中，我们将讨论如何使用混淆矩阵和异常检测来评估分类器的性能。 混淆矩阵是一种表格，用于显示分类器在测试数据集上的性能。它包含了真正和预测的类别之间的交叉比较。异常检测是一种方...
机器学习 - 混淆矩阵：技术与实战全方位解析
TechLead
10-16 5609
本文深入探讨了机器学习中的混淆矩阵概念，包括其数学原理、Python实现，以及在实际应用中的重要性。我们通过一个肺癌诊断的实例来演示如何使用混淆矩阵进行模型评估，并提出了多个独特的技术洞见。文章旨在为读者提供全面而深入的理解，从基础到高级应用。
混淆矩阵
04-14
<think>嗯，用户想了解混淆矩阵的定义和使用方法，特别是在机器学习中的应用。首先，我需要回忆混淆矩阵的基本概念，确保自己理解正确。混淆矩阵是分类模型性能评估的重要工具，对吧？它是一个表格，用来展示模型预测结果和实际标签之间的对应关系。 接下来，用户可能想知道混淆矩阵的结构。我记得里面包括真正例（TP）、假正例（FP）、真反例（TN）和假反例（FN）这四个部分。这四个指标可以组合成不同的评价指标，比如准确率、精确率、召回率等。需要详细解释这些术语，但要注意用通俗易懂的中文，避免太技术化的术语。 然后，用户可能对如何使用混淆矩阵感兴趣。我应该分步骤说明，比如如何生成混淆矩阵，可能需要提到Python中的sklearn库，特别是confusion_matrix函数。引用提供的参考资料中的信息，比如引用[1]提到的使用sklearn和seaborn生成混淆矩阵的方法，这样能增加回答的可信度。 另外，用户可能想知道混淆矩阵的应用场景和重要性。这时候需要提到它在模型评估中的作用，比如帮助识别分类错误的情况，优化模型表现。同时，可以引用引用[2]和[3]，说明混淆矩阵是ROC曲线和AUC的基础，以及如何通过这些指标全面评估模型。 还要注意用户可能的深层需求，比如他们可能在实际项目中需要应用混淆矩阵，但不知道具体步骤。因此，给出一个Python代码示例会很有帮助，比如用sklearn生成混淆矩阵并用seaborn可视化，这样用户可以直接参考使用。 最后，需要确保回答结构清晰，分点说明定义、组成、使用步骤、应用场景和相关指标。同时，生成的相关问题要覆盖用户可能进一步感兴趣的方面，比如混淆矩阵的优缺点、如何可视化、与其他指标的比较等。 总结一下，回答需要包括： 1. 混淆矩阵的定义 2. 四个组成部分的详细解释 3. 使用步骤和代码示例 4. 应用场景和相关评价指标 5. 相关问题引导深入学习 需要检查引用是否正确，比如引用[1]关于生成方法，引用[2]和[3]关于评价指标和应用，确保每个引用都自然融入内容中，避免堆砌。同时，确保LaTeX格式正确，所有数学表达式如准确率公式用$...$，独立公式用$$...$$，但根据用户要求，可能不需要独立公式，所以需确认。 可能还需要检查是否有遗漏的重要点，比如混淆矩阵的局限性，或者如何根据混淆矩阵调整模型，这些可能在相关问题中提到。总之，确保回答全面、准确，并且易于理解。</think>### 混淆矩阵的定义与使用方法 #### 1. 混淆矩阵的定义 混淆矩阵（Confusion Matrix）是用于评估**分类模型性能**的表格工具，通过对比模型预测结果与真实标签，直观反映分类正确与错误的分布情况。它是计算准确率、召回率等指标的基础[^2][^3]。 #### 2. 混淆矩阵的组成 对于二分类问题，混淆矩阵包含四部分： - **真正例（TP, True Positive）**：实际为正类，预测也为正类。 - **假正例（FP, False Positive）**：实际为负类，但预测为正类（误报）。 - **真反例（TN, True Negative）**：实际为负类，预测也为负类。 - **假反例（FN, False Negative）**：实际为正类，但预测为负类（漏报）。 矩阵形式如下： $$ \begin{array}{|c|c|c|} \hline & \text{预测正类} & \text{预测负类} \\ \hline \text{实际正类} & TP & FN \\ \hline \text{实际负类} & FP & TN \\ \hline \end{array} $$ #### 3. 使用步骤（Python示例） **步骤1**：导入库并生成数据 ```python from sklearn.metrics import confusion_matrix import seaborn as sns y_true = [1, 0, 1, 1, 0, 1] # 真实标签 y_pred = [1, 0, 0, 1, 0, 1] # 预测标签 ``` **步骤2**：生成混淆矩阵 ```python cm = confusion_matrix(y_true, y_pred) ``` **步骤3**：可视化（使用Seaborn） ```python sns.heatmap(cm, annot=True, fmt='d') ``` #### 4. 关键评价指标 - **准确率（Accuracy）**：$ \text{Accuracy} = \frac{TP + TN}{TP + TN + FP + FN} $ 所有样本中分类正确的比例。 - **精确率（Precision）**：$ \text{Precision} = \frac{TP}{TP + FP} $ 预测为正类的样本中实际为正类的比例。 - **召回率（Recall）**：$ \text{Recall} = \frac{TP}{TP + FN} $ 实际为正类的样本中被正确预测的比例。 - **F1-Score**：$ \text{F1} = \frac{2 \times \text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}} $ 精确率和召回率的调和平均，综合反映模型性能[^3]。 #### 5. 应用场景 - 分类模型优化：通过调整阈值减少FP或FN。 - 不平衡数据集分析：例如医疗诊断中需高召回率以减少漏诊。 - 多分类问题扩展：将混淆矩阵推广到多个类别。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值