PR曲线和F1、ROC曲线和AUC

机器学习评估指标解析

最新推荐文章于 2024-05-28 19:23:21 发布

原创

最新推荐文章于 2024-05-28 19:23:21 发布 · 2.2w 阅读

86 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习

最近阅读机器学习，在评估学习器的性能时，书中提到了P、R、F1值度量和ROC曲线和AUC值度量。

P、R、F1

		预测结果
		正例	反例
真实情况	正例	TP（真正例）	FN（假反例）
真实情况	反例	FP（假正例）	TN（真反例）

P（查准率）： $P=\frac{TP}{TP+FP}$ 即预测结果中真正的正例的比例。
R（查全率）：

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

teminusign

关注关注

18
点赞
踩
86

收藏

觉得还不错? 一键收藏
2
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

分类模型评估体系：混淆矩阵、PR曲线、F1、Weighted F1、Micro F1、Macro F1、ROC&AUC、KS曲线、Lift曲线、GAIN曲线

data+scenario+science+insight

06-09

1000

目录混淆矩阵一类错误+二类错误查准率(precision)和查全率（recall） PR曲线调和参数F1 权重化F1（weighted F1）宏F1（macro F1）微F1（micro F1） ROC & AUC KS曲线 Lift曲线 GAIN曲线混淆矩阵混淆矩阵是机器学习中总结分类模型预测结果的情形分析表，以矩阵形式将数据集中的记录按照真实的类别与分类模型预测的类别判断两个标准进行汇总。其中矩阵的行表示真实值，矩阵的列表示预测值。一类错.

机器学习中的模型评估：ROC曲线与AUC值的深度解析

加入“Super Entity”，与全能开发团队共探AI智能体与数字人项目，开启前沿技术之旅。

03-20

2607

在机器学习项目中，评估模型的性能是确保模型有效性和可靠性的关键步骤。ROC曲线（Receiver Operating Characteristic Curve）和AUC值（Area Under Curve）是评估分类模型性能的重要工具，尤其是在处理不平衡数据集时。ROC曲线展示了模型在不同阈值下的真正例率（TPR）和假正例率（FPR），而AUC值则表示ROC曲线下的面积，用于衡量模型的整体性能。本文将从ROC曲线和AUC值的基本概念出发，通过一个完整的代码示例带你入门，并探讨其应用场景和注意事项。

2 条评论您还未登录，请先登录后发表或查看评论

2 条评论

Fighter07 2023.03.01
你好这个分类器的预测结果是怎么得到的

PeinMulan_ 2020.07.18
谢谢大佬，明白了！感谢！

F1score/P-R曲线/ROC曲线/AUC

qq_40415753的博客

10-25

6912

1.分类正确的样本占总样本个数的比例。 2.TP/FP/FN/TN 1）True positive(TP): 真正例，将正类正确预测为正类数； 2）False positive(FP): 假正例，将负类错误预测为正类数； 3）False negative(FN):假负例，将正类错误预测为负类数； 4）True negative(TN): 真负例，将负类正确预测为负类数。 3.Pre...

机器学习：PR曲线及F1 score

weixin_45095281的博客

11-17

4549

PR曲线及F1 scorePecision 和 RecallPR曲线PR曲线的绘制PR曲线的性能比较F1 scoreF1 的一般形式macro-F1micro-F1 Pecision 和 Recall 首先，我们把数据和对应的标签称为一个example。在二分类问题中，example可分为真正例（true positive），假正例（fake positive），真反例（true negative），假反例（fake negative）下面这个矩阵称为混淆矩阵。 precision 和 recall的

度量方法：PR & F1 & AUC

竹石破岩

03-07

2238

1. Precision an Recall 计算公式： precion=TPTP+FPprecion = \frac{TP}{TP+FP}precion=TP+FPTP recall=TPTP+FNrecall = \frac{TP}{TP+FN}recall=TP+FNTP 在排序问题中，通常没有一个确定的阈值把得到的结果直接判定为正样本或负样本，而是采用Top N返回结果的pr...

P R F1 等性能度量（二分类、多分类）

marmalade要天天向上

05-01

7138

总结自《机器学习》周志华 2.3 目录最常用的是查准率P（precision），查全率R（recall），F1 一、对于二分类问题二、对于多分类问题 1.macro 2.micro 最常用的是查准率P（precision），查全率R（recall），F1 一、对于二分类问题混淆矩阵（confusion matrix）：预测结果真实情况 ...

【监督学习——分类算法及其评估指标：准确率、精确率、召回率、PR曲线和F1值】

m0_73801901的博客

03-08

3040

还是上面的例子：我们假设想要预测的目标是猫，那么在数据集中猫就是正样本（Positive），其他的数据就是负样本（Negative），接下来算法模型把猫预测为猫预测模型就是对的（True），模型算法把猫预测为其他预测结果就是错的（False）。举一个简单的例子：比如有一个动物图片的数据集，其中包含猫和狗，用这个数据集训练一个算法模型，当这个模型再“看到”一张猫或者狗的图片时，能做出一个预测来预测图片中的动物是猫还是狗，以达到分类的目的，这就是监督学习中分类算法的实现过程。监督学习的主要应用有回归和分类。

分类模型评估之ROC-AUC曲线和PRC曲线

热门推荐

皮皮blog

06-30

10万+

http://blog.youkuaiyun.com/pipisorry/article/details/51788927 ROC曲线和AUC ROC（Receiver Operating Characteristic，接受者工作特征曲线）曲线和AUC常被用来评价一个二值分类器（binary classifier）的优劣。博文介绍ROC和AUC的特点，讨论如何作出ROC曲线图以及计算AUC。 AUC是现...

AUC PR曲线学习曲线

now

04-23

4622

AUC（Area Under Curve）被定义为ROC曲线下的面积。我们往往使用AUC值作为模型的评价标准是因为很多时候ROC曲线并不能清晰的说明哪个分类器的效果更好，而作为一个数值，对应AUC更大的分类器效果更好。其中，ROC曲线全称为受试者工作特征曲线（receiver operating characteristic curve），它是根据一系列不同的二分类方式（分界值或决定阈），以真阳性率（敏感性）为纵坐标，假阳性率（1-特异性）为横坐标绘制的曲线。 AUC就是衡量学习器优劣的一种性能指标

精确率、召回率、F1、AUC和ROC曲线

wangxiaoxiaodeer的博客

01-01

851

如果我们已经定好了一个阈值，超过此阈值定义为坏用户（1），低于此阈值定义为好用户（0），就可以计算出混淆矩阵（Confusion matrix）。根据混淆矩阵我们可以得到TP,FN,FP,TN四个值，TP即为预测正确的坏用户的个数，FN为预测错误（预测为好用户）的坏用户个数，根据这四个值即可计算精确率、召回率和F1。精确率（Precision）为TP/(TP+FP)，即为在预测为坏人的人中，预测正确（实际为坏人）的人占比。召回率（Recall）为TP/(TP+FN)，即为在实际为...

模型评价指标笔记：混淆矩阵+F1+PR曲线+mAP

一只努力学习的小碗~

05-22

1792

模型评价指标笔记，涉及混淆矩阵、F1、精确率和召回率、PR曲线、AP、mAP等

ROC曲线与AUC

ice110956的专栏

03-02

3万+

对于0,1两类分类问题,一些分类器得到的结果往往不是0,1这样的标签,如神经网络,得到诸如0.5,0,8这样的分类结果.这时,我们人为取一个阈值,比如0.4,那么小于0.4的为0类,大于等于0.4的为1类,可以得到一个分类结果。同样,这个阈值我们可以取0.1,0.2等等。取不同的阈值,得到的最后的分类情况也就不同。阈值不同,可以得到不同的结果,但是由分类器决定的统计图始终是不变的。这时候就需要一个独立与阈值,只与分类器有关的评价指标,来衡量特定分类器的好坏。还有在类不平衡的情况下,如正样本90个,负样本

谈P(查准率)，R(查全率)，F1值

世上再无张显宗

11-11

1742

1. 引例比如我们的香蕉中 1 表示好的，0表示坏的，有10个香蕉： gold : [ 1，1，1，1，1，0，0，0，0，0 ] pred： [ 1，0，1，1，1，1，1，0，0，0 ] 注释：gold是现实的好坏；pred是预测的好坏。 P(Precision) 查准率：就是上面说的"准"。字面意思好理解呀，就是在预测当中查找准确个数的比例。公式为： P = 真正预测准确的数量/预...

详谈P(查准率)，R(查全率)，F1值

zenRRan的博客

03-07

5623

怎么来的？我们平时用的精度accuracy，也就是整体的正确率 acc=predict_right_num/predict_num 这个虽然常用，但不能满足所有任务的需求。比如，因为香蕉太多了，也不能拨开人工的一个一个的看它的好坏(我爱吃啊，想想就心疼)，此时我们就需要有一种方法，代替拨开香蕉这种粗鲁的手段。这时我们需要通过一些测试，看看哪种方法能更加准确的预测...

画多个yolo模型结果的F1曲线图

weixin_40632216的博客

10-18

678

当有多个yolo模型的results.txt可以统一画出他们的F1值曲线图

F1 Score auc 曲线

qq_32450111的博客

03-13

814

Yolo F1_Confidence Cure 和 P_curve

weixin_58473494的博客

05-28

4344

P_curve"通常指的是 Precision-Recall Curve（精确率-召回率曲线），在目标检测任务中，精确率指的是检测出的目标中真正为目标比例，而召回率(Recall)指的是真正为目标的样本中成功被检测出的比例，P_curve 展示了在不同阈值下模型的精确率和召回率之间的权衡关系。例如，如果有10个真正的目标，模型检测出了7个，那么召回率就是70%。1.精确率(Precision)：指的是检测出的目标中真正目标的比例，例如，如果模型检测出10个目标，其中8个为真正的目标，那么精确率是80%

P,R,F1 等性能度量（二分类、多分类）

weixin_30439067的博客

09-05

642

精确率召回率 F1值准确率 ROC曲线 AUC评价指标

qq_33819591的博客

09-23

1359

对于二分类问题来说，经过分类器分类后一般会出现下面四种情况（假设positive表正类，negative表负类）：将正类预测为正类，记该类样本数为TP （true positive）将正类预测为负类，记该类样本数为FN （false negative）将负类预测为正类，记该类样本数为FP （false positive）将负类预测为负类，记该类样本数为TN （true negative）混

PR 曲线和分数 - 召回曲线

最新发布

06-04

### PR曲线与精度-召回率的关系 PR曲线（Precision-Recall Curve）是用于评估分类模型性能的一种工具，尤其在处理类别不平衡的数据集时非常有用。PR曲线通过绘制不同阈值下的精度（Precision）和召回率（Recall）之间的关系来展示模型的性能[^1]。 #### 精度（Precision）精度是指在所有被模型预测为正类的样本中，实际为正类的比例。其公式为： ```python Precision = TP / (TP + FP) ``` 其中，`TP` 表示真正例（True Positive），`FP` 表示假正例（False Positive）。精度越高，说明模型预测为正类的样本中正确比例越大[^2]。 #### 召回率（Recall）召回率是指在所有实际为正类的样本中，被模型正确预测为正类的比例。其公式为： ```python Recall = TP / (TP + FN) ``` 其中，`FN` 表示假负例（False Negative）。召回率越高，说明模型能够更好地覆盖所有实际为正类的样本[^2]。 #### F1分数（F1 Score） F1分数是精度和召回率的调和平均数，用于综合衡量模型在这两个指标上的表现。其公式为： ```python F1 = 2 * (Precision * Recall) / (Precision + Recall) ``` F1分数的取值范围在0到1之间，值越高表示模型的性能越好。当精确率和召回率都较高时，F1分数也会相应较高[^1]。 #### PR曲线与F1分数的关系 PR曲线通过连接不同阈值下的精度和召回率点来形成。F1分数则可以看作是PR曲线上每个点的一个综合评价指标。因此，在PR曲线上，F1分数较高的点通常位于曲线的上部区域，这些点对应着较好的模型性能[^1]。 #### PR曲线的面积（AUC-PR） PR曲线下的面积（AUC-PR）是一个常用的汇总指标，用于衡量整个曲线的性能。面积越大，说明模型在不同阈值下都能较好地平衡精度和召回率。如果两个模型的PR曲线相交，通常选择曲线包围面积更大的模型作为更优的选择[^2]。 #### PR曲线与ROC曲线的区别虽然PR曲线和ROC曲线（Receiver Operating Characteristic Curve）都是用于评估分类模型性能的工具，但它们的关注点有所不同。ROC曲线关注的是真阳性率（True Positive Rate, TPR）和假阳性率（False Positive Rate, FPR）之间的关系，而PR曲线关注的是精度和召回率之间的关系。在类别不平衡的情况下，PR曲线通常比ROC曲线更能反映模型的真实性能[^3]。 ```python # 示例代码：绘制PR曲线 from sklearn.metrics import precision_recall_curve import matplotlib.pyplot as plt # 假设y_true为真实标签，y_scores为预测概率 precision, recall, thresholds = precision_recall_curve(y_true, y_scores) plt.figure() plt.plot(recall, precision, marker='.') plt.xlabel('Recall') plt.ylabel('Precision') plt.title('Precision-Recall Curve') plt.show() ```