模型评价(AUC，ROC曲线，ACC, 敏感性， 特异性，精确度，召回率，PPV, NPV, F1)

最新推荐文章于 2024-12-02 08:59:58 发布
最新推荐文章于 2024-12-02 08:59:58 发布
阅读量7.8w 收藏 394
点赞数 58
CC 4.0 BY-SA版权
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/sunflower_sara/article/details/81214897
本文介绍了评估分类器性能的重要指标，包括混淆矩阵、精确率、召回率等，并详细解释了ROC曲线与AUC值的含义及计算方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

 

目录

混淆矩阵

精确率 / precision / PPV / 查准率

召回率 / Recall / True positive rate / TPR / 灵敏度 /  敏感性 / sensitive/ 查全率

ROC曲线

AUC(Area under the ROC curve)

cut-off点

计算步骤如下：

参考文献：

 

混淆矩阵

这里写图片描述

混淆矩阵包含四部分的信息：

  1. True negative(TN)，称为真阴率，表明实际是负样本预测成负样本的样本数
  2. False positive(FP)，称为假阳率，表明实际是负样本预测成正样本的样本数
  3. False negative(FN)，称为假阴率，表明实际是正样本预测成负样本的样本数
  4. True positive(TP)，称为真阳率，表明实际是正样本预测成正样本的样本数

对照着混淆矩阵，很容易就能把关系、概念理清楚，但是久而久之，也很容易忘记概念。不妨我们按照位置前后分为两部分记忆，前面的部分是True／False表示真假，即代表着预测的正确性，后面的部分是positive／negative表示正负样本，即代表着预测的结果，所以，混淆矩阵即可表示为正确性－预测结果的集合。现在我们再来看上述四个部分的概念（均代表样本数，下述省略）：

  1. TN，预测是负样本，预测对了
  2. FP，预测是正样本，预测错了
  3. FN，预测是负样本，预测错了
  4. TP，预测是正样本，预测对了

 

 

召回率 / Recall / True positive rate / TPR / 灵敏度 /  敏感性 / sensitive/ 查全率

而召回率是针对我们原来的样本而言的，它表示的是样本中的正例有多少被预测正确了。那也有两种可能，一种是把原来的正类预测成正类(TP)，另一种就是把原来的正类预测为负类(FN)。

                      R = TP/(TP+FN)  

精确率 / precision / PPV / 查准率

精确率是针对我们预测结果而言的，它表示的是预测为正的样本中有多少是对的。那么预测为正就有两种可能了，一种就是把正类预测为正类(TP)，另一种就是把负类预测为正类(FP)。

                      P = TP/(TP+FP)

特异性 / specificity

样本中的负类被预测为负类的比例

 

ROC曲线

事实上，要一下子弄清楚什么是AUC并不是那么容易，首先我们要从ROC曲线说起。对于某个二分类分类器来说，输出结果标签（0还是1）往往取决于输出的概率以及预定的概率阈值，比如常见的阈值就是0.5，大于0.5的认为是正样本，小于0.5的认为是负样本。如果增大这个阈值，预测错误（针对正样本而言，即指预测是正样本但是预测错误，下同）的概率就会降低但是随之而来的就是预测正确的概率也降低；如果减小这个阈值，那么预测正确的概率会升高但是同时预测错误的概率也会升高。实际上，这种阈值的选取也一定程度上反映了分类器的分类能力。我们当然希望无论选取多大的阈值，分类都能尽可能地正确，也就是希望该分类器的分类能力越强越好，一定程度上可以理解成一种鲁棒能力吧。
为了形象地衡量这种分类能力，ROC曲线横空出世！如下图所示，即为一条ROC曲线（该曲线的原始数据第三部分会介绍）。现在关心的是：

  • 横轴：False Positive Rate（假阳率，FPR） / 1-特异性
  • 纵轴：True Positive Rate（真阳率，TPR） / TPR / 灵敏度 /  敏感性 / sensitive / 召回率 / Recall

  •  

 

  • 假阳率，简单通俗来理解就是预测为正样本但是预测错了的可能性，显然，我们不希望该指标太高。

    FPR=FPTN+FP

  • 真阳率，则是代表预测为正样本但是预测对了的可能性，当然，我们希望真阳率越高越好。

    TPR=TPTP+FN

显然，ROC曲线的横纵坐标都在[0,1]之间，自然ROC曲线的面积不大于1。现在我们来分析几个特殊情况，从而更好地掌握ROC曲线的性质：

  • (0,0)：假阳率和真阳率都为0，即分类器全部预测成负样本
  • (0,1)：假阳率为0，真阳率为1，全部完美预测正确，happy
  • (1,0)：假阳率为1，真阳率为0，全部完美预测错误，悲剧
  • (1,1)：假阳率和真阳率都为1，即分类器全部预测成正样本
  • TPR＝FPR，斜对角线，预测为正样本的结果一半是对的，一半是错的，代表随机分类器的预测效果

于是，我们可以得到基本的结论：ROC曲线在斜对角线以下，则表示该分类器效果差于随机分类器，反之，效果好于随机分类器，当然，我们希望ROC曲线尽量除于斜对角线以上，也就是向左上角（0,1）凸。

 

AUC(Area under the ROC curve)

ROC曲线一定程度上可以反映分类器的分类效果，但是不够直观，我们希望有这么一个指标，如果这个指标越大越好，越小越差，于是，就有了AUC。AUC实际上就是ROC曲线下的面积。AUC直观地反映了ROC曲线表达的分类能力。

  • AUC ＝ 1，代表完美分类器
  • 0.5 < AUC < 1，优于随机分类器
  • 0 < AUC < 0.5，差于随机分类器

 

cut-off点

可以通过到（0，1）点的最小距离确定

 

计算步骤如下：

  1. 得到结果数据，数据结构为：（输出概率，标签真值）
  2. 对结果数据按输出概率进行分组，得到（输出概率，该输出概率下真实正样本数，该输出概率下真实负样本数）。这样做的好处是方便后面的分组统计、阈值划分统计等
  3. 对结果数据按输出概率进行从大到小排序
  4. 从大到小，把每一个输出概率作为分类阈值，统计该分类阈值下的TPR和FPR
  5. 微元法计算ROC曲线面积、绘制ROC曲线

 

 

 

参考文献：

统计学习方法，李航

机器学习，周志华

https://segmentfault.com/a/1190000010410634

https://blog.youkuaiyun.com/u012089317/article/details/52156514

 

R语言编写自定义函数计算分类模型评估指标：准确度、特异度、敏感度、PPV、NPV、数据数据为模型预测后的混淆矩阵、比较多个分类模型分类性能（逻辑回归、决策树、随机森林、支持向量机）
statistics+insight+vista+power
12-19 288
R语言编写自定义函数计算分类模型评估指标：准确度、特异度、敏感度、PPV、NPV、数据数据为模型预测后的混淆矩阵、比较多个分类模型分类性能（逻辑回归、决策树、随机森林、支持向量机）
34、评估分类模型性能的关键指标：特异性、灵敏度、精确度和F1得分
meat5的博客
06-29 32
本文详细探讨了评估分类模型性能的关键指标，包括特异性、灵敏度、精确度和F1得分。通过具体的公式解释和实际案例分析，文章展示了这些指标在不同应用场景（如医疗诊断、金融欺诈检测、电子邮件垃圾邮件分类）中的应用。同时，讨论了模型评估中面临的挑战及优化方法，如调整阈值、特征选择、解决类别不平衡和数据质量问题。旨在帮助读者全面理解并应用这些指标提升分类模型的性能。
使用Python进行多个机器学习模型、多个评价指标表格绘制（AUC、敏感度、特异度、F1值、约登指数、MCC、Kappa等）
柳奈奈的博客
03-03 1万+
本文简要介绍了常用的机器学习模型评价指标，并使用Python绘制单个模型和多个模型的各个评价指标的汇总表格。评价指标有：训练集AUC、测试集AUC、敏感度（Sensitivity）、特异度（Specificity）、PPV、NPV、PLR、NLR、F1值、Youden Index、MCC、Kappa。
【机器学习】分类性能度量指标 : ROC曲线、AUC值、正确率、召回率、敏感度、特异度
热门推荐
自由 平等~忠诚 奉献
01-19 7万+
本文转自 http://zhwhong.ml/2017/04/14/ROC-AUC-Precision-Recall-analysis/ 在分类任务中，人们总是喜欢基于错误率来衡量分类器任务的成功程度。错误率指的是在所有测试样例中错分的样例比例。实际上，这样的度量错误掩盖了样例如何被分错的事实。在机器学习中，有一个普遍适用的称为混淆矩阵(confusion matrix)的工具，它可以帮助人们更
[评估指标] 敏感性/特异性/PPV/NPV等指标原理与计算方法
chenyang2203的博客
05-06 9449
机器学习指标准确率、精确率、召回率，临床评估指标PPV、NPV、敏感性、特异性等
机器学习-准确率、灵敏度、特异度、PPV、NPV、F1计算方法
xu624735206的博客
12-10 2万+
机器学习-准确率、灵敏度、特异度、PPV、NPV、F1计算方法计算方法 计算方法
ROC曲线的绘制过程/AUC/TPR、FPR、敏感度和特异度
yuansiming0920的博客
05-15 3万+
在选择诊断试验时，一些研究学者会在灵敏度和特异度的取舍之间徘徊。那么，是否可以综合灵敏度和特异度之间的特点，选择一个指标来评价诊断实验之间的准确性呢？Lusted在1971年提出了受试者工作特征曲线（receiver operating characteristic curve，简称ROC曲线），用来描述诊断试验的内在真实度，应用十分广泛。 1 ROC曲线 ROC曲线是以假阳性概率(False positive rate，FPR，1-特异度)为横轴，真阳性(True positive rate，TPR，灵敏
怎么根据ROC曲线分别计算出各自的敏感度、特异度、阳性预测值、阴性预测值_一文搞懂诊断试验中灵敏度、特异度、阳性预测值、阴性预测值...
weixin_39859715的博客
11-23 4万+
看过许多统计教程，这篇是我最推荐的 临床医生门诊接诊新病人时最常被问的估计是以下三个问题：我有病么？是什么病？怎么治啊？细细分析这三个问题，其中第一和第二个都是诊断问题，第三个是治疗问题。回想起多年前我临床实习的时候，带教老师说：疾病的诊断、鉴别诊断是关键，是治疗的基础。如何把有病的人和没病的人区分开，如何把患某种病的患者和其他...
你现在需要使用R studio绘制ROC曲线，要求以paraffin pathology为金标准，绘制paraffin pathology、Radiologist and AI、Radiologist和AI四组的ROC曲线，并计算指标敏感性、特异性、阳性预测值（PPV）、阴性预测值（NPV）、ROC曲线下面积（AUC）和f1评分。根据95%置信区间（ci）计算AUC。请你帮我写一个脚本，所需数据文件在我的Mac桌面名称为“全部结节.xlsx”，请你帮我写一个脚本
最新发布
07-08
我们需要为Radiologist and AI、Radiologist和AI分别绘制ROC曲线（以paraffin pathology为金标准），并计算敏感性、特异性、PPV、NPV、AUC和F1分数。 步骤： 1. 读取数据：使用readxl包读取Excel文件。 2. 数据准备...
ROC 曲线/准确率、覆盖率（召回）、命中率、Specificity（负例的覆盖率）
weixin_30439067的博客
05-03 5260
欢迎关注博主主页，学习python视频资源 sklearn实战-乳腺癌细胞数据挖掘（博主亲自录制视频教程） https://study.163.com/course/introduction.htm?courseId=1005269003&utm_campaign=commission&utm_source=cp-400000000398149&amp...
R语言ROC分析实战、ROC曲线可视化及最佳阈值计算
statistics+insight+vista+power
12-02 637
R语言ROC分析实战、ROC曲线可视化及最佳阈值计算
机器学习结果指标评估
heda3的博客
01-04 2255
第一种：ROC（Receiver Operating Characteristic） 目的： （1）分类结果往往不是0和1 而是0-1之间的连续变量 为此需要设定一个阈值线进行分类 （2）accuracy评价方式已经满足不了。也即是引入：类不平衡问题，链接 其主要分析工具是一个画在二维平面上的曲线——ROC curve。横坐标是false positive rate(FPR)，纵坐标是...
准确率（accuracy）、精确率（precision）、召回率（recall）
Cheese_pop的博客
10-13 5万+
整理了知乎上的前两个回答，https://www.zhihu.com/question/19645541 其中精度是检索出相关文档数与检索出的文档总数的比率，衡量的是检索系统的查准率；召回率是指检索出的相关文档数和文档库中所有的相关文档数的比率，衡量的是检索系统的查全率。一般来说，Precision就是检索出来的条目（比如：文档、网页等）有多少是准确的，Recall就是所有准确的条目有多少被检索
深度学习各指标计算（Jaccard,Dice,Sensitive,Specificity,PPv,NPV，Accuracy）
qianqian_aa的博客
07-04 4173
深度学习各指标计算（Jaccard,Dice,Sensitive,Specificity,PPv,NPV，Accuracy）
机器学习/深度学习入门：准确率(查准率)、召回率(查全率)、F值和误识率（FAR）、拒识率（FRR）、ROC曲线
M_Z_G_Y的博客
03-12 1万+
准确率(查准率)、召回率(查全率)、F值 正确率、召回率和F值是目标的重要评价指标。 正确率 = 正确识别的个体总数 / 识别出的个体总数 召回率 = 正确识别的个体总数 / 测试集中存在的个体总数 F值 = 正确率 * 召回率 * 2 / (正确率 + 召回率) 假设要识别照片中的狗的，在一些照片中，包含12只狗的照片和一些猫的照片。算法识别出有8只狗。在确定的8只狗中，5只实际上是...
python统计分析——灵敏度、特异度和ROC曲线
maizeman126的博客
03-31 2078
举个例子：我们有两个不同的分布，比如一个是来自鸟的雷达信号，一个是来自飞机的雷达信号，我们必须为指示器确定一个截断值，将检测结果分配给分布一（鸟）或分布二（飞机）。和灵敏度、特异度紧密相关的是受试者操作特征曲线（ROC）曲线。被检验正确识别出来的阳性结果（=病人中有疾病且检验结果是阳性的概率）。特异度：被检验正确识别出来的阴性结果（=病人健康且检验结果是阴性的概率）。阳性预测值（PPV）：检验结果为阳性的病人中被正确诊断的比例。阴性预测值（NPV）：检验结果为阴性的病人中被正确诊断的比例。
敏感性、特异度、α、β、阳性预测值（PPV）、阴性预测值(NPV)等指标及置信区间计算（附R语言代码）
Mrrunsen的博客
01-30 7351
同理，患病率越高，NPV越小，计算方法。在诊断疾病方面，一个敏感性高的诊断工具，假阴性率（漏诊）低，也就是说如果被这个诊断工具诊断为阳性，其阳性的概率不一定大，但若是被诊断为阴性，其阴性概率就很高，敏感度高的诊断工具适合用于筛查。而一个特异度高的诊断工具，假阳性率（误诊）低，也就是说一旦被这个诊断工具诊断为阳性，其阳性的概率就很高，但若是被诊断为阴性，其阴性的概率不一定大，特异性高的诊断工具适合用于确诊。β = 假阴性率（漏诊） = 假阴/实际为阳 = FN/(FN+TP) = 1-sen。
python绘制敏感性和特异性曲线（交叉）
Z_W_H_的博客
11-13 1170
python绘制敏感性和特异性曲线（交叉）
『NLP学习笔记』Sklearn计算准确率、精确率、召回率及F1 Score
AI新视界
12-07 1万+
分类是机器学习中比较常见的任务，对于分类任务常见的评价指标有 准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1 score、ROC曲线(Receiver Operating Characteristic Curve)等。
AUC-ROC
03-12
<think>好的，我现在要详细解答用户关于AUC-ROC曲线的问题。首先，我需要回顾一下自己对这些概念的理解，并确保信息的准确性。用户提到了几个引用资料，我需要结合这些内容来组织回答，同时遵循系统级指令中的格式要求。 首先，AUC-ROC是机器学习中用于评估二分类模型性能的重要指标。ROC曲线全称是受试者工作特征曲线，而AUC则是ROC曲线下的面积，用来量化模型的整体性能。用户可能想知道这两者的具体定义、如何解读，以及它们在模型评估中的实际应用。 接下来，我需要分步骤解释这些概念。首先定义ROC曲线，说明其横轴（FPR）和纵轴（TPR）的含义，以及它们如何随着分类阈值的变化而变化。然后，解释AUC值的意义，比如AUC为1表示完美分类，0.5相当于随机猜测，这时需要强调AUC如何反映模型的区分能力。 然后，结合用户提供的引用资料，特别是引用[2]和[3]，其中提到ROC曲线接近左上角表示模型准确率高，AUC值高则性能更好。这部分需要自然地融入回答中，并正确添加引用标识。例如，在解释ROC曲线的位置时，引用[2]的内容。 此外，用户可能对如何绘制ROC曲线以及计算AUC的方法感兴趣。我需要简要说明绘制步骤，比如需要不同阈值下的TPR和FPR，然后连接这些点形成曲线。AUC的计算方法可以通过梯形法则或积分，这部分可能需要提及，但不需要太深入数学细节，以保持回答的实用性。 还要注意用户的应用场景，可能想知道AUC-ROC在模型选择、调参或比较中的作用。例如，引用[3]提到AUC不受类别不平衡的影响，这一点很重要，需要在回答中突出，说明为什么在处理不平衡数据时AUC比准确率更有优势。 同时，需要确保回答中的数学公式使用正确的LaTeX格式，如FPR公式写成$FPR = \frac{FP}{FP + TN}$，TPR写成$TPR = \frac{TP}{TP + FN}$，并用$$包围独立公式。此外，所有行内公式如$AUC$需要用$符号包裹。 可能还需要比较AUC与其他指标（如准确率、F1-score）的不同，指出AUC的综合性和对类别不平衡的鲁棒性，这部分可以引用资料中的内容来支持观点。 最后，生成的相关问题需要围绕AUC-ROC的延伸话题，比如如何解读不同AUC值、与其他指标的比较、应用场景、计算方法及类别不平衡的影响。这些问题应帮助用户进一步探索该主题。 在整理回答时，要确保结构清晰，分点解释，每个部分自然过渡，并在适当的位置添加引用标记。同时，检查LaTeX语法是否正确，避免格式错误。例如，独立公式是否使用$$，行内公式是否正确使用$符号。 现在，综合以上思考，组织成一个逻辑连贯的回答，满足用户的需求，并符合给定的格式要求。</think>### AUC-ROC曲线详解及在分类模型评估中的作用 #### 1. **基本概念** - **ROC曲线**（Receiver Operating Characteristic Curve）是用于评估二分类模型性能的工具，横轴为**假正率**（False Positive Rate, FPR），纵轴为**真正率**（True Positive Rate, TPR），其计算公式为： $$ FPR = \frac{FP}{FP + TN}, \quad TPR = \frac{TP}{TP + FN} $$ 其中，$TP$（真正例）、$FP$（假正例）、$TN$（真负例）、$FN$（假负例）构成混淆矩阵[^1][^3]。 - **AUC**（Area Under the Curve）是ROC曲线下的面积，取值范围为$[0,1]$，用于量化模型区分正负类的能力。AUC值越接近1，模型性能越好；若AUC=0.5，则等同于随机猜测[^2]。 #### 2. **ROC曲线的绘制与解读** - **绘制方法**：通过调整分类阈值（如逻辑回归中的概率截断值），计算不同阈值下的TPR和FPR，将各点连接成曲线。 - **关键形态**： - **靠近左上角**：模型准确率高（高TPR、低FPR）[^2]。 - **接近对角线**：模型性能与随机猜测相当（AUC=0.5）。 - **低于对角线**：可能因模型预测反向导致，需重新检查数据或模型。 #### 3. **AUC值的意义** - **AUC=1**：完美分类器，所有正负样本均被正确区分。 - **AUC>0.9**：模型具有优秀的区分能力。 - **AUC<0.7**：模型性能较差，需优化特征或算法。 #### 4. **在模型评估中的应用** - **模型比较**：AUC提供单一数值指标，便于横向对比不同模型的性能。 - **类别不平衡鲁棒性**：AUC不受正负样本比例影响，适用于评估信用卡欺诈检测、疾病诊断等不平衡场景[^3]。 - **调参指导**：通过观察不同参数下AUC的变化，选择最佳超参数组合。 #### 5. **与其他指标的关系** - **对比准确率**：AUC更关注模型对正负类的整体区分能力，而非单纯分类正确率。 - **对比F1-score**：F1-score依赖于特定阈值，而AUC综合所有阈值下的表现，更全面[^1]。 ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值