机器学习11. ROC曲线、AUC值、Accuracy、Precision、Recall 含义

最新推荐文章于 2025-05-20 17:38:59 发布
最新推荐文章于 2025-05-20 17:38:59 发布
阅读量1.9k 收藏 7
点赞数
CC 4.0 BY-SA版权
文章标签： auc roc
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_38333786/article/details/90147380

AUC/ROC，Accuracy，Precision，Recall 含义。查准率，查全率，样本均衡问题

部分图片转自这里

  • 行的True和False表示预测为正负
  • 列的Pos和Neg表示真实的正负
    在这里插入图片描述
  • 表哥说明：
    • True Positive(TP)：将正类预测为正类的数量.
    • True Negative(TN)：将负类预测为负类的数量.
    • False Positive(FP)：将负类预测为正类数（假的正类–>其实是负累预测为正） → 误报 (Type I error).（把鸟当成敌机了）
    • False Negative(FN)：将正类预测为负类数（假的负类–>其实是正类预测为负） → 漏报 (Type II error).（把敌机当成鸟了–>非常严重）
  • 准确率（Accuracy）
    • a c c = T P + T N 4 个 全 部 acc=\frac{TP+TN}{4个全部} acc=4个全部TP+TN​，表示分类正确的比例。
    • 准确率在样本不平衡时有较大缺陷。

记正负样本个数分别为： F = T P + F N F=TP+FN F=TP+FN和 N = T N + F P N=TN+FP N=

最低0.47元/天 解锁文章

200万优质内容无限畅学
[机器学习] 第二章 模型评估与选择 1.ROC、AUC、Precision、Recall、F1_score
心宝的博客
04-09 2340
1.非均衡分类问题 类别分类代价不等 例如：垃圾邮件过滤中，我们希望重要的邮件永远不要被误判为垃圾邮件。 还有在癌症检测中，宁愿误判也不漏判。 此时分类错误率的度量不充分 所以，在分类中，当某个类别的重要性高于其他类别时，可以使用Precison和Recall多个比分类错误率更好的新指标。 条件阳性（P） 数据中真实阳性病例的数量 条件否（N） 数据中实际否定案例的数量 Precision（查准率）： 预测为正例的样本中真正正例的比例。 eg: 99正 1负 预测 1正√ 99负 TP/(TP
7篇1章14节：评估和对比预测模型的ROC曲线和AUC值
DAT｜R科学与人工智能
11-13 855
ROC曲线的AUC值可以直观地衡量模型的分类能力，而通过调整ROC曲线中的判别阈值，可以帮助模型使用者在敏感性和特异性之间做出权衡。通过pROC包，R用户可以方便地绘制ROC曲线、计算AUC值、比较模型性能。
ROC、Precision、Recall和Accuracy
Yuyiin
10-20 1307
1.Precision&Recall 大多数情况下将样本分类为正例或反例的代价是不同的，当某个类别分类（正确）的重要性大于其他时，仅仅使用分类错误率来度量是不充分的，这样的度量错误掩盖了样例如何被错分的事实。 Precision（查准率）：预测为正例的样本中真正正例的比例。 TP/(TP+FP) Recall（召回率）：真正为正例的样本有多少被预测出来。 TP/(TP+FN) 例如： r...
ROC，AUC，Precision，Recall，F1的介绍与计算
SnailTyan
04-07 1万+
ROC，AUC，Precision，Recall，F1的介绍与计算
AUC与Accuracy的区别
最新发布
大多_C的博客
05-20 446
• 为什么：举个例子，如果正类仅占总体的5%，负类占95%，一个总是预测全为负类的模型也能获得95%的准确率，但这样的模型根本不能发现正样本。而 AUC 评估的是模型将正负样本打分的排序表现，即正样本的分数往往高于负样本的概率，这样的指标能更客观地评价模型识别少数类的能力。• 为什么：由于 AUC 是对 ROC 曲线所有可能阈值下的 TPR 和 FPR 组合进行综合衡量的，所以它不依赖于某个特定的阈值，而是衡量模型对正负样本的整体区分能力。– 衡量的是模型所有预测中，正确预测的比例。
对accuracy、precision、recall、F1-score、ROC-AUC、PRC-AUC的一些理解
weixin_30919919的博客
09-02 900
　　最近做了一些分类模型，所以打算对分类模型常用的评价指标做一些记录，说一下自己的理解。使用何种评价指标，完全取决于应用场景及数据分析人员关注点，不同评价指标之间并没有优劣之分，只是各指标侧重反映的信息不同。为了便于后续的说明，先建立一个二分类的混淆矩阵 ，以下各参数的说明都是针对二元分类 ...
概念：Roc, AUC, Precision, Recall
smartcat2010的博客
12-29 2173
Given a randomly chosen observation x belonging to class 1, and a randomly chosen observation x ′ belonging to class 0, the AUC is the probability that the evaluated classification algorithm will assi...
对准确率（Accuracy）、精确率（Precision）、召回率（Recall）、PR曲线、ROC曲线、F1 Score的理解
qq_29168809的博客
11-09 3114
混淆矩阵        对于一个二分类问题，预测类别与实际类别有如下表的对应关系，又称为混淆矩阵。 准确率（Accuracy）        是系统最常见的评价指标，公式 ACCR=(TP+TN)/(TP+TN+FP+FN)，其含义为，所有样本中预测正确样...
一文彻底理解机器学习 ROC-AUC 指标
热门推荐
sdgfafg_25的博客
06-12 2万+
ROC 曲线，即接收者操作特征曲线，ROC曲线产生于第二次世界大战期间，最早用在信号检测领域，侦测战场上的敌军载具（飞机、船舰）。现在是是用来评价二分类模型性能的常用图形工具。它通过显示真阳性率（True Positive Rate，简称 TPR）与假阳性率（False Positive Rate，简称 FPR）之间的权衡来帮助我们理解模型的分类能力。AUC，即曲线下面积（Area Under Curve），是 ROC 曲线下面积的一个数值表示。它提供了一个定量的指标，用来衡量分类模型的整体表现。
深度学习分类常见评价指标：accuracy recall precision specificity sensitivity AUC ROC 曲线
qq_38895920的博客
05-22 4415
深度学习分类时常用到以下指标，这里做一个总结： 首先介绍一些指标的定义： (1)若一个实例是正类，但是被预测成为正类，即为真正类(True Postive TP) (2)若一个实例是负类，但是被预测成为负类，即为真负类(True Negative TN) (3)若一个实例是负类，但是被预测成为正类，即为假正类(False Postive FP) (4)若一个实例是正类，但是被预测成为负类，即为假负类(False Negative FN） 这四个部分可以构成一个混淆矩阵： ...
机器学习中常见的评估指标：Precision、recall、F-measure、Accuracy、ROC曲线和AUC
陶将的博客
07-12 4172
在使用机器学习算法的过程中，我们需要对建立的模型进行评估来辨别模型的优劣，下文中主要介绍我在学习中经常遇见的几种评估指标。对于数据测试后，一般能够得到下面四种情况精度（precision）召回率（recall）F-measureROCAUC...
机器学习 评价指标-召回率（Recall） 精确率（Precision）准确率（Accuracy）ROC曲线和AUC值
打牛地的博客
10-07 3147
召回率（Recall） 精确率（Precision）准确率（Accuracy）ROC曲线和AUC值 是机器学习中常用的评价指标，下面用具体的事例来一一介绍每个指标的具体含义。 假设某个班级有男生80人，女生20人，共100人。目标是找出所有的女生 现在有人挑选出了50个人，其中20个是女生，另外还错误的把30个男生也当作女生挑选了出来。 下面根据一个图给大家说几个概念。 TP(True Posi...
机器学习 | 准确率、召回率、精准率、特异度傻傻分不清？ROC曲线怎么看？一篇文章帮你搞定
Huiwen18的博客
04-27 2万+
提高召回率是为了少漏报；提高精准率是为了少错报。ROC曲线纵轴为真正率，横轴为假正率
ROC、AUC、Recall、Precision、Accuracy、F1、PRC 是什么？
OOC_ZC的博客
05-03 5307
这些都是评价分类器性能的指标。 二分类问题为例： 图片来自网络 Accuracy(准确率)： (TP + TN) / (TP + TN + FN + FP) 准确率指标的问题在于如果问题为偏斜类(Skewed classes)，比如真实值中正反比例为 99:1，那预测值无脑预测均为正值，准确率就可达99%，而反例则一个也预测不出来，显然是不可理的。 由此有了Precision(精确率...
机器学习面试常考知识之准确率（Accuracy）、精确率(Precision)、召回率(Recall)、F值(F-Measure)、AUC、ROC的理解
DYF的博客
11-04 525
(1)若一个实例是正类，但是被预测成为正类，即为真正类(True Postive TP) (2)若一个实例是负类，但是被预测成为负类，即为真负类(True Negative TN) (3)若一个实例是负类，但是被预测成为正类，即为假正类(False Postive FP) (4)若一个实例是正类，但是被预测成为负类，即为假负类(False Negative FN） 准确率（正确率...
机器学习分类问题指标理解——准确率(accuracy)、精确率(precision)、召回率(recall)、F1-Score、ROC曲线、P-R曲线、AUC面积
Michael的博客
03-18 1万+
简单理解分类问题的7项模型评估指标：准确率(accuracy)、精确率(precision)、召回率(recall)、F1-Score、ROC曲线、P-R曲线、AUC面积
【机器学习笔记】：一文让你彻底理解准确率，精准率，召回率，真正率，假正率，ROC/AUC
Python数据科学
10-14 2万+
作者：xiaoyu 微信公众号：Python数据科学 知乎：python数据分析 非经作者允许，禁止任何商业转载。 ROC/AUC作为机器学习的评估指标非常重要，也是面试中经常出现的问题（80%都会问到）。其实，理解它并不是非常难，但是好多朋友都遇到了一个相同的问题，那就是：每次看书的时候都很明白，但回过头就忘了，经常容易将概念弄混。还有的朋友面试之前背下来了，但是一紧张大脑一片空白全...
机器学习之评价指标AUC的意义
AndyJ的学习之旅
09-09 6163
参考 概要 在互联网的排序业务中，比如搜索、推荐、广告等，AUC（Area under the Curve of ROC）是一个非常常见的评估指标。 AUC的理解 一般有两大类解释，一种是基于ROC线下面积，需要理解混淆矩阵，包括精确率、召回率、F1 值、ROC等指标的含义。另外一种是基于概率的解释，模型的排序能力。 AUC的排序特性 对比accuracy、precision等指标，AUC指标本身和模型预测score绝对值无关，只关注排序效果，因此特别适合排序业务。 为何与模型预测score值无关为何是很好
R语言计算AUC（ROC曲线）的注意事项
医学和生信笔记的博客
01-06 1万+
之前的推文中介绍了ROC曲线的本质以及两面性：这些现在都有成熟的R包可以帮我们搞定，不需要我们手动计算。不过这些包在计算AUC时，默认是计算阳性结果的AUC，这在实际情况中有时会遇到问题，大家在使用时最好手动指定，到底是计算谁的AUC，关于ROC的两面性，可以参考上面的推文。这里以我最常用的ROCR和pROC进行演示。
类别 precision recall f1-score support accuracy AP AUC 都是什么
05-14
<think>好的，我现在需要回答用户关于机器学习指标的问题，包括precision、recall、f1-score、support、accuracy、AP、AUC这些指标的含义。首先，我得逐一理清每个指标的定义和计算公式，确保准确无误。 用户之前的问题提到了这些指标，所以我需要按照逻辑顺序逐个解释，可能从基础指标开始，如precision和recall，然后到综合指标f1-score，再到support、accuracy，最后是AP和AUC。需要确保每个术语都有明确的定义，并举例说明，这样用户更容易理解。 接下来，我需要检查是否需要参考提供的引用内容。引用里提到了accuracy、precision、recall、F1-score、ROC-AUC、PRC-AUC等，这些和用户的问题相符。不过要注意引用中的信息是否正确，比如AP通常指Average Precision，而AUC是ROC曲线下的面积，这些需要准确描述。 然后，我要考虑如何组织回答结构。可能先分点解释每个指标，使用公式时注意用LaTeX格式，比如$Precision = \frac{TP}{TP+FP}$。同时，用户提到要生成相关问题，这可能需要放在最后部分，提出几个相关的问题，比如这些指标的应用场景或如何计算等。 还需要注意用户提到的系统级指令，比如行内数学表达式用$...$，独立公式用$$...$$。比如在解释AUC时，可能需要独立成段的公式。同时，确保使用中文回答，避免任何markdown格式，除了代码块需要用三个反引号包裹。 另外，用户示例中在回答后添加了相关问题，我需要模仿这个结构，在最后生成相关问题，比如关于如何选择这些指标，或者它们的优缺点等。同时，引用标识要自然地添加在引用的段落末尾，比如引用[1]中的内容。 现在，我需要确保每个指标的解释正确无误。例如，support指的是每个类别的样本数量，而accuracy是总正确预测的比例。AP和AUC可能涉及更复杂的概念，如PR曲线和ROC曲线下的面积，需要简明扼要地说明。 可能遇到的疑问点：比如AP是否就是PR曲线的AUC？实际上，AP是Precision-Recall曲线下的面积，而AUC通常指ROC曲线的面积，需要区分清楚。此外，F1-score是precision和recall的调和平均，这点需要正确表达。 最后，检查LaTeX语法是否正确，例如公式中的括号是否闭合，变量是否正确使用斜体等。确保回答结构清晰，分点明确，每个指标之间有适当的过渡，帮助用户逐步理解。</think>### 机器学习评价指标详解 #### 1. 基础指标（二分类场景） - **TP（True Positive）**：正确预测的正类样本 - **FP（False Positive）**：错误预测为正类的负类样本 - **TN（True Negative）**：正确预测的负类样本 - **FN（False Negative）**：错误预测为负类的正类样本 #### 2. 核心指标定义 1. **Precision（精确率）** 预测为正类的样本中实际为正类的比例： $$ Precision = \frac{TP}{TP + FP} $$ 适用于关注**误报成本**的场景（如垃圾邮件检测）[^1]。 2. **Recall（召回率）** 实际为正类的样本中被正确预测的比例： $$ Recall = \frac{TP}{TP + FN} $$ 适用于关注**漏检成本**的场景（如疾病诊断）[^1]。 3. **F1-score（F1值）** Precision和Recall的调和平均数，平衡两者关系： $$ F1 = 2 \times \frac{Precision \times Recall}{Precision + Recall} $$ 特别适用于**类别不平衡**数据评估。 4. **Support（支持数）** 每个类别在测试集中的**实际样本数量**，反映数据分布特征。 5. **Accuracy（准确率）** 整体预测正确的比例： $$ Accuracy = \frac{TP + TN}{TP + FP + TN + FN} $$ 在类别平衡时有效，但在不平衡数据中可能失真[^1]。 #### 3. 高级指标 1. **AP（Average Precision，平均精确率）** 通过改变分类阈值，计算Precision-Recall曲线下面积： $$ AP = \sum_{k} (Recall_k - Recall_{k-1}) \times Precision_k $$ 反映模型在不同召回率下的平均表现，常用于目标检测任务。 2. **AUC（Area Under ROC Curve）** ROC曲线下面积，反映模型对正负样本的区分能力： - ROC曲线以**FPR（False Positive Rate）**为横轴：$FPR = \frac{FP}{FP + TN}$ - **TPR（True Positive Rate，即Recall）**为纵轴 - 取值范围$[0,1]$，值越大表示分类性能越好。 ```python # 指标计算示例（Python sklearn实现） from sklearn.metrics import precision_score, recall_score, f1_score, accuracy_score, average_precision_score, roc_auc_score y_true = [1,0,1,1,0] y_pred = [1,0,0,1,1] print(f"Precision: {precision_score(y_true, y_pred)}") # 0.6667 print(f"Recall: {recall_score(y_true, y_pred)}") # 0.6667 print(f"F1-score: {f1_score(y_true, y_pred)}") # 0.6667 print(f"Accuracy: {accuracy_score(y_true, y_pred)}") # 0.6 print(f"AP: {average_precision_score(y_true, y_pred)}") # 0.6389 print(f"AUC: {roc_auc_score(y_true, y_pred)}") # 0.6667 ``` #### 4. 关键差异说明 | 指标 | 关注重点 | 适用场景 | 数据敏感性 | |------------|---------------------------|------------------------|----------------| | Precision | 预测正类的准确性 | 高误报成本场景 | 受负类分布影响 | | Recall | 正类样本的覆盖率 | 高漏检成本场景 | 独立于负类分布 | | AUC | 整体排序能力 | 类别不平衡场景 | 综合考量 | | Accuracy | 整体预测正确率 | 类别平衡场景 | 易受分布影响 |
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值