模型评价(AUC，ROC曲线，ACC, 敏感性， 特异性，精确度，召回率，PPV, NPV, F1)

最新推荐文章于 2025-06-25 16:11:06 发布
原创 最新推荐文章于 2025-06-25 16:11:06 发布 · 7.8w 阅读 · 395 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了评估分类器性能的重要指标，包括混淆矩阵、精确率、召回率等，并详细解释了ROC曲线与AUC值的含义及计算方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

 

目录

混淆矩阵

精确率 / precision / PPV / 查准率

召回率 / Recall / True positive rate / TPR / 灵敏度 /  敏感性 / sensitive/ 查全率

ROC曲线

AUC(Area under the ROC curve)

cut-off点

计算步骤如下：

参考文献：

 

混淆矩阵

这里写图片描述

混淆矩阵包含四部分的信息：

  1. True negative(TN)，称为真阴率，表明实际是负样本预测成负样本的样本数
  2. False positive(FP)，称为假阳率，表明实际是负样本预测成正样本的样本数
  3. False negative(FN)，称为假阴率，表明实际是正样本预测成负样本的样本数
  4. True positive(TP)，称为真阳率，表明实际是正样本预测成正样本的样本数

对照着混淆矩阵，很容易就能把关系、概念理清楚，但是久而久之，也很容易忘记概念。不妨我们按照位置前后分为两部分记忆，前面的部分是True／False表示真假，即代表着预测的正确性，后面的部分是positive／negative表示正负样本，即代表着预测的结果，所以，混淆矩阵即可表示为正确性－预测结果的集合。现在我们再来看上述四个部分的概念（均代表样本数，下述省略）：

  1. TN，预测是负样本，预测对了
  2. FP，预测是正样本，预测错了
  3. FN，预测是负样本，预测错了
  4. TP，预测是正样本，预测对了

 

 

召回率 / Recall / True positive rate / TPR / 灵敏度 /  敏感性 / sensitive/ 查全率

而召回率是针对我们原来的样本而言的，它表示的是样本中的正例有多少被预测正确了。那也有两种可能，一种是把原来的正类预测成正类(TP)，另一种就是把原来的正类预测为负类(FN)。

                      R = TP/(TP+FN)  

精确率 / precision / PPV / 查准率

精确率是针对我们预测结果而言的，它表示的是预测为正的样本中有多少是对的。那么预测为正就有两种可能了，一种就是把正类预测为正类(TP)，另一种就是把负类预测为正类(FP)。

                      P = TP/(TP+FP)

特异性 / specificity

样本中的负类被预测为负类的比例

 

ROC曲线

事实上，要一下子弄清楚什么是AUC并不是那么容易，首先我们要从ROC曲线说起。对于某个二分类分类器来说，输出结果标签（0还是1）往往取决于输出的概率以及预定的概率阈值，比如常见的阈值就是0.5，大于0.5的认为是正样本，小于0.5的认为是负样本。如果增大这个阈值，预测错误（针对正样本而言，即指预测是正样本但是预测错误，下同）的概率就会降低但是随之而来的就是预测正确的概率也降低；如果减小这个阈值，那么预测正确的概率会升高但是同时预测错误的概率也会升高。实际上，这种阈值的选取也一定程度上反映了分类器的分类能力。我们当然希望无论选取多大的阈值，分类都能尽可能地正确，也就是希望该分类器的分类能力越强越好，一定程度上可以理解成一种鲁棒能力吧。
为了形象地衡量这种分类能力，ROC曲线横空出世！如下图所示，即为一条ROC曲线（该曲线的原始数据第三部分会介绍）。现在关心的是：

  • 横轴：False Positive Rate（假阳率，FPR） / 1-特异性
  • 纵轴：True Positive Rate（真阳率，TPR） / TPR / 灵敏度 /  敏感性 / sensitive / 召回率 / Recall

  •  

 

  • 假阳率，简单通俗来理解就是预测为正样本但是预测错了的可能性，显然，我们不希望该指标太高。

    FPR=FPTN+FP

  • 真阳率，则是代表预测为正样本但是预测对了的可能性，当然，我们希望真阳率越高越好。

    TPR=TPTP+FN

显然，ROC曲线的横纵坐标都在[0,1]之间，自然ROC曲线的面积不大于1。现在我们来分析几个特殊情况，从而更好地掌握ROC曲线的性质：

  • (0,0)：假阳率和真阳率都为0，即分类器全部预测成负样本
  • (0,1)：假阳率为0，真阳率为1，全部完美预测正确，happy
  • (1,0)：假阳率为1，真阳率为0，全部完美预测错误，悲剧
  • (1,1)：假阳率和真阳率都为1，即分类器全部预测成正样本
  • TPR＝FPR，斜对角线，预测为正样本的结果一半是对的，一半是错的，代表随机分类器的预测效果

于是，我们可以得到基本的结论：ROC曲线在斜对角线以下，则表示该分类器效果差于随机分类器，反之，效果好于随机分类器，当然，我们希望ROC曲线尽量除于斜对角线以上，也就是向左上角（0,1）凸。

 

AUC(Area under the ROC curve)

ROC曲线一定程度上可以反映分类器的分类效果，但是不够直观，我们希望有这么一个指标，如果这个指标越大越好，越小越差，于是，就有了AUC。AUC实际上就是ROC曲线下的面积。AUC直观地反映了ROC曲线表达的分类能力。

  • AUC ＝ 1，代表完美分类器
  • 0.5 < AUC < 1，优于随机分类器
  • 0 < AUC < 0.5，差于随机分类器

 

cut-off点

可以通过到（0，1）点的最小距离确定

 

计算步骤如下：

  1. 得到结果数据，数据结构为：（输出概率，标签真值）
  2. 对结果数据按输出概率进行分组，得到（输出概率，该输出概率下真实正样本数，该输出概率下真实负样本数）。这样做的好处是方便后面的分组统计、阈值划分统计等
  3. 对结果数据按输出概率进行从大到小排序
  4. 从大到小，把每一个输出概率作为分类阈值，统计该分类阈值下的TPR和FPR
  5. 微元法计算ROC曲线面积、绘制ROC曲线

 

 

 

参考文献：

统计学习方法，李航

机器学习，周志华

https://segmentfault.com/a/1190000010410634

https://blog.youkuaiyun.com/u012089317/article/details/52156514

 

R语言编写自定义函数计算分类模型评估指标：准确度、特异度、敏感度、PPV、NPV、数据数据为模型预测后的混淆矩阵、比较多个分类模型分类性能（逻辑回归、决策树、随机森林、支持向量机）
statistics+insight+vista+power
12-19 289
R语言编写自定义函数计算分类模型评估指标：准确度、特异度、敏感度、PPV、NPV、数据数据为模型预测后的混淆矩阵、比较多个分类模型分类性能（逻辑回归、决策树、随机森林、支持向量机）
R语言ROC分析实战、ROC曲线可视化及最佳阈值计算
statistics+insight+vista+power
12-02 638
R语言ROC分析实战、ROC曲线可视化及最佳阈值计算
【机器学习】分类性能度量指标 : ROC曲线、AUC值、正确率、召回率、敏感度、特异度
热门推荐
自由 平等~忠诚 奉献
01-19 7万+
本文转自 http://zhwhong.ml/2017/04/14/ROC-AUC-Precision-Recall-analysis/ 在分类任务中，人们总是喜欢基于错误率来衡量分类器任务的成功程度。错误率指的是在所有测试样例中错分的样例比例。实际上，这样的度量错误掩盖了样例如何被分错的事实。在机器学习中，有一个普遍适用的称为混淆矩阵(confusion matrix)的工具，它可以帮助人们更
什么叫“模型”？
言之。
06-25 1万+
*模型（Model）**是一种对现实或数据进行抽象、简化和描述的结构或系统，用来预测、解释或控制。换句话说，模型是用来近似现实规律的工具。在机器学习或深度学习中，模型是一个数学函数模型：fx;θ→y\text{模型}：f(x;模型fx;θ→yxxx：输入（如一段文本、图像、特征向量）yyy：目标输出（如标签、预测值）θ\thetaθ：模型的参数（例如权重矩阵、偏置项）fff：模型结构，比如线性回归、神经网络、决策树。
[评估指标] 敏感性/特异性/PPV/NPV等指标原理与计算方法
chenyang2203的博客
05-06 9459
机器学习指标准确率、精确率、召回率，临床评估指标PPV、NPV、敏感性、特异性等
机器学习-准确率、灵敏度、特异度、PPV、NPV、F1计算方法
xu624735206的博客
12-10 2万+
机器学习-准确率、灵敏度、特异度、PPV、NPV、F1计算方法计算方法 计算方法
ROC曲线的绘制过程/AUC/TPR、FPR、敏感度和特异度
yuansiming0920的博客
05-15 3万+
在选择诊断试验时，一些研究学者会在灵敏度和特异度的取舍之间徘徊。那么，是否可以综合灵敏度和特异度之间的特点，选择一个指标来评价诊断实验之间的准确性呢？Lusted在1971年提出了受试者工作特征曲线（receiver operating characteristic curve，简称ROC曲线），用来描述诊断试验的内在真实度，应用十分广泛。 1 ROC曲线 ROC曲线是以假阳性概率(False positive rate，FPR，1-特异度)为横轴，真阳性(True positive rate，TPR，灵敏
怎么根据ROC曲线分别计算出各自的敏感度、特异度、阳性预测值、阴性预测值_一文搞懂诊断试验中灵敏度、特异度、阳性预测值、阴性预测值...
weixin_39859715的博客
11-23 4万+
看过许多统计教程，这篇是我最推荐的 临床医生门诊接诊新病人时最常被问的估计是以下三个问题：我有病么？是什么病？怎么治啊？细细分析这三个问题，其中第一和第二个都是诊断问题，第三个是治疗问题。回想起多年前我临床实习的时候，带教老师说：疾病的诊断、鉴别诊断是关键，是治疗的基础。如何把有病的人和没病的人区分开，如何把患某种病的患者和其他...
使用Python进行多个机器学习模型、多个评价指标表格绘制（AUC、敏感度、特异度、F1值、约登指数、MCC、Kappa等）
柳奈奈的博客
03-03 1万+
本文简要介绍了常用的机器学习模型评价指标，并使用Python绘制单个模型和多个模型的各个评价指标的汇总表格。评价指标有：训练集AUC、测试集AUC、敏感度（Sensitivity）、特异度（Specificity）、PPV、NPV、PLR、NLR、F1值、Youden Index、MCC、Kappa。
你现在需要使用R studio绘制ROC曲线，要求以paraffin pathology为金标准，绘制paraffin pathology、Radiologist and AI、Radiologist和AI四组的ROC曲线，并计算指标敏感性、特异性、阳性预测值（PPV）、阴性预测值（NPV）、ROC曲线下面积（AUC）和f1评分。根据95%置信区间（ci）计算AUC。请你帮我写一个脚本，所需数据文件在我的Mac桌面名称为“全部结节.xlsx”，请你帮我写一个脚本
最新发布
07-08
我们需要为Radiologist and AI、Radiologist和AI分别绘制ROC曲线（以paraffin pathology为金标准），并计算敏感性、特异性、PPV、NPV、AUC和F1分数。 步骤： 1. 读取数据：使用readxl包读取Excel文件。 2. 数据准备...
ROC 曲线/准确率、覆盖率（召回）、命中率、Specificity（负例的覆盖率）
weixin_30439067的博客
05-03 5261
欢迎关注博主主页，学习python视频资源 sklearn实战-乳腺癌细胞数据挖掘（博主亲自录制视频教程） https://study.163.com/course/introduction.htm?courseId=1005269003&utm_campaign=commission&utm_source=cp-400000000398149&amp...
机器学习结果指标评估
heda3的博客
01-04 2255
第一种：ROC（Receiver Operating Characteristic） 目的： （1）分类结果往往不是0和1 而是0-1之间的连续变量 为此需要设定一个阈值线进行分类 （2）accuracy评价方式已经满足不了。也即是引入：类不平衡问题，链接 其主要分析工具是一个画在二维平面上的曲线——ROC curve。横坐标是false positive rate(FPR)，纵坐标是...
准确率（accuracy）、精确率（precision）、召回率（recall）
Cheese_pop的博客
10-13 5万+
整理了知乎上的前两个回答，https://www.zhihu.com/question/19645541 其中精度是检索出相关文档数与检索出的文档总数的比率，衡量的是检索系统的查准率；召回率是指检索出的相关文档数和文档库中所有的相关文档数的比率，衡量的是检索系统的查全率。一般来说，Precision就是检索出来的条目（比如：文档、网页等）有多少是准确的，Recall就是所有准确的条目有多少被检索
深度学习各指标计算（Jaccard,Dice,Sensitive,Specificity,PPv,NPV，Accuracy）
qianqian_aa的博客
07-04 4174
深度学习各指标计算（Jaccard,Dice,Sensitive,Specificity,PPv,NPV，Accuracy）
机器学习/深度学习入门：准确率(查准率)、召回率(查全率)、F值和误识率（FAR）、拒识率（FRR）、ROC曲线
M_Z_G_Y的博客
03-12 1万+
准确率(查准率)、召回率(查全率)、F值 正确率、召回率和F值是目标的重要评价指标。 正确率 = 正确识别的个体总数 / 识别出的个体总数 召回率 = 正确识别的个体总数 / 测试集中存在的个体总数 F值 = 正确率 * 召回率 * 2 / (正确率 + 召回率) 假设要识别照片中的狗的，在一些照片中，包含12只狗的照片和一些猫的照片。算法识别出有8只狗。在确定的8只狗中，5只实际上是...
python统计分析——灵敏度、特异度和ROC曲线
maizeman126的博客
03-31 2078
举个例子：我们有两个不同的分布，比如一个是来自鸟的雷达信号，一个是来自飞机的雷达信号，我们必须为指示器确定一个截断值，将检测结果分配给分布一（鸟）或分布二（飞机）。和灵敏度、特异度紧密相关的是受试者操作特征曲线（ROC）曲线。被检验正确识别出来的阳性结果（=病人中有疾病且检验结果是阳性的概率）。特异度：被检验正确识别出来的阴性结果（=病人健康且检验结果是阴性的概率）。阳性预测值（PPV）：检验结果为阳性的病人中被正确诊断的比例。阴性预测值（NPV）：检验结果为阴性的病人中被正确诊断的比例。
敏感性、特异度、α、β、阳性预测值（PPV）、阴性预测值(NPV)等指标及置信区间计算（附R语言代码）
Mrrunsen的博客
01-30 7351
同理，患病率越高，NPV越小，计算方法。在诊断疾病方面，一个敏感性高的诊断工具，假阴性率（漏诊）低，也就是说如果被这个诊断工具诊断为阳性，其阳性的概率不一定大，但若是被诊断为阴性，其阴性概率就很高，敏感度高的诊断工具适合用于筛查。而一个特异度高的诊断工具，假阳性率（误诊）低，也就是说一旦被这个诊断工具诊断为阳性，其阳性的概率就很高，但若是被诊断为阴性，其阴性的概率不一定大，特异性高的诊断工具适合用于确诊。β = 假阴性率（漏诊） = 假阴/实际为阳 = FN/(FN+TP) = 1-sen。
python绘制敏感性和特异性曲线（交叉）
Z_W_H_的博客
11-13 1171
python绘制敏感性和特异性曲线（交叉）
『NLP学习笔记』Sklearn计算准确率、精确率、召回率及F1 Score
AI新视界
12-07 1万+
分类是机器学习中比较常见的任务，对于分类任务常见的评价指标有 准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1 score、ROC曲线(Receiver Operating Characteristic Curve)等。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值