模型性能度量（PR，ROC）

最新推荐文章于 2025-03-24 10:31:54 发布
最新推荐文章于 2025-03-24 10:31:54 发布
阅读量1.9k 收藏 3
点赞数
CC 4.0 BY-SA版权
分类专栏： 西瓜书
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/kylin_learn/article/details/81938945
本文讨论了ROC曲线与PRC曲线在模型性能度量中的应用。ROC曲线在正负样本分布变化时保持稳定，适合类不平衡问题；而PRC曲线在正样本稀少时更能反映分类器的真实性能。对于正负样本分布极不均匀的情况，PRC曲线更具优势。在CTR预估等负例远多于正例的问题中，虽然ROC曲线可能过于乐观，但其计算简单，仍常用于性能评估。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

 

（score就是预测样本预测为1的概率值）

题外话：是选择ROC还是PR曲线？

ROC曲线的优势

　　ROC曲线有个很好的特性：当测试集中的正负样本的分布变化的时候，ROC曲线能够保持稳定。在实际的数据集中经常会出现类不平衡现象，而且测试数据中的正负样本的分布也可能随着时间变化。下图是ROC曲线和Precision-Recall曲线的对比。

　　其中(a)和(c)为ROC曲线，(b)和(d)为Precision-Recall曲线。(a)和(b)展示的是分类器在原始测试集（正负样本分布平衡）的结果，(c)和(d)是将测试集中负样本的数量增加到原来的10倍。可以明显看出，ROC曲线基本保持原貌，而Precision-Recall曲线则变化较大。

　　PR曲线会面临一个问题，当需要获得更高recall时，model需要输出更多的样本，precision可能会伴随出现下降/不变/升高，得到的曲线会出现浮动差异&#x

最低0.47元/天 解锁文章

200万优质内容无限畅学
用R语言画ROC曲线及精确召回曲线(Precision-Recall Curve)
NickyCat的博客
05-24 5640
R语言绘制ROC曲线和PR曲线
机器学习的模型性能度量：评估指标PR对比ROC/AUC
迷路的咸鱼的博客
09-11 3432
  一般，对学习器的泛化性能进行评估，需要有能衡量模型泛化性能的评价标准，即性能度量（performance measure）。性能度量反映了任务需求，在对比不同模型的能力时，使用不同的性能度量往往会导致不同的评判结果，并通过这个指标来进一步调参逐步优化我们的模型。 分类常用的性能度量混淆矩阵精准率和召回率ROC/AUC 混淆矩阵   对于二分类的模型，可以把预测情况与实际情况的所有结果两两组合，结果就会出现以下4种情况，就组成了分类结果的混淆矩阵（confusion matrix）：   令TP、FP
ROC曲线 vs Precision-Recall曲线
Blankit1的博客
12-20 567
ROC曲线 vs Precision-Recall曲线 ROC： TPR - FPR PR曲线：Precision - Recall ROC曲线的优势 　　ROC曲线有个很好的特性：当测试集中的正负样本的数量变化的时候，ROC曲线能够保持稳定 　　TPR=TPTP+FNTPR = \frac{TP} {TP+FN}TPR=TP+FNTP​,与下图的左半部分，即与正样本相关。 　　FPR=FPFP+TNFPR = \frac{FP} {FP+TN}FPR=FP+TNFP​,与下图的右半部分，即与负样本
准确率召回率
VergiL Wang的专栏
05-18 1211
http://blog.sina.com.cn/s/blog_4b59de070100ehl7.html 最近一直在做相关推荐方面的研究与应用工作，召回率与准确率这两个概念偶尔会遇到， 知道意思，但是有时候要很清晰地向同学介绍则有点转不过弯来。 召回率和准确率是数据挖掘中预测、互联网中的搜索引擎等经常涉及的两个概念和指标。 召回率：Recall，又称“查全率”——还是查全率好记，也更能体现其...
机器学习基础-32:模型的性能度量
智能多媒体
09-26 654
ML-32:机器学习模型的性能度量。机器学习模型是通过学习并利用数据内部的规律与关系，去完成一个指定任务的数学模型。我们需要一系列的性能度量指标评价模型的泛化能力。不同的性能度量出发点和关注点存在差异，评判结果也有明显差别。机器学习算法通过学习训练数据集的内部的规律，构建了一个机器学习模型。进行机器学习模型的性能评测时，需要关注模型的泛化能力，即机器学习模型面对新的数据时，处理任务的精度问题。
Precision/Recall和ROC曲线
adminabcd的专栏
06-12 1万+
【Precision/Recall的基本概念】转载自http://www.zhizhihu.com/html/y2010/2137.html。查准率和查全率是信息检索效率评价的两个定量指标，不仅可以用来评价每次检索的准确性和全面性，也是在信息检索系统评价中衡量系统检索性能的重要方面。（1）查准率（Precision ratio，简称为P），是指检出的相关文献数占检出文献总数的百分比。查准率反映检索准
机器学习模型评估（性能度量）——KNN模型的PR和ROC曲线绘制
fjstjsjg的博客
04-15 2459
模型评估是对训练好的模型性能进行评估, 模型评估是模型开发过程不可或缺的一部分。它有助于发现表达数据的最佳模型和所选模型将来工作的性能如何。
机器学习——常见的分类模型评估指标，ROC曲线和PR曲线分析
weixin_74731967的博客
04-16 1744
在机器学习领域，评估分类模型的性能是至关重要的一步，它可以帮助我们了解模型的准确性和泛化能力。在分类问题中，准确度（Accuracy）、精确率（Precision）、召回率（Recall）和F1分数是最为常用的评估指标。（1）混淆矩阵是监督学习中的一种用于评估分类模型性能的可视化工具，主要用于模型的分类结果和实例的真实信息的比较。（2）使用混淆矩阵的好处在于它能够提供一种直观的方式来理解模型在各个类别上的表现，尤其是在类别不平衡的情况下。
机器学习：模型评估与性能度量总结
qq_24394635的博客
12-20 3470
#1、常见术语说明 过拟合：模型由于学习的“太好”，在训练集上表现很好（训练误差小），而在新样本上表现很差（泛化误差大）。 欠拟合：与过拟合相对的概念，模型对训练集还没有完全学习好，在训练集上就表现不好（训练误差大）。 误差：模型预测值与真实值之间的差异。 训练误差（经验误差）：模型在训练集上的误差。 泛化误差：模型在新样本上的误差。 #2、模型评估方法 利用训练样本（“训练集”）之外的测试样本（...
Precision ROC Recall
klliu_control的博客
08-01 384
Precision 反映了分类器预测正例的准确程度。其补数就是误检率。 recall也就是true positive rate (tpr)，反映了分类器对正例的覆盖能力。其补数就是漏检率。 ROC曲线的横轴和纵轴分别是false positive rate 和true positive rate，可以理解为将负例分为正例的概率，以及将正例分为正例的概率。注意，这里的分母都是实际的正例/
机器学习性能评估指标之PR曲线（Precision-Recall Curve）
最新发布
浩瀚之水的专栏
03-24 2452
PR曲线是评估分类模型性能的重要工具，特别适用于类别不平衡或需要重点关注正类识别能力的任务（如疾病诊断、欺诈检测）。
3PR模型是什么
gc_2299的博客
11-07 6916
介绍工艺软件中的3PR模型的概念
Precision/Recall、ROC/AUC、AP/MAP等概念区分
weixin_30627381的博客
07-21 545
1.Precision和Recall Precision，准确率/查准率。Recall，召回率/查全率。这两个指标分别以两个角度衡量分类系统的准确率。 例如，有一个池塘，里面共有1000条鱼，含100条鲫鱼。机器学习分类系统将这1000条鱼全部分类为“不是鲫鱼”，那么准确率也有90%（显然这样的分类系统是失败的），然而查全率为0%，因为没有鲫鱼样本被分对。这个例子显示出一个成功的分类系...
PR曲线（Precision-Recall Curve，精确率-召回率曲线）
weixin_44012667的博客
06-26 6634
PR曲线（Precision-Recall Curve，精确率-召回率曲线）是一种用于评估二分类模型性能的工具，特别适用于不平衡数据集。PR曲线通过绘制精确率（Precision）与召回率（Recall）之间的关系，展示模型在不同决策阈值下的表现。
PR-curve（precision-recall curve）object detection
walker_zero的博客
06-25 1542
最近在对目标检测中的PR曲线做程序实现，发现网上有很多的版本，而且引用https://www.zhihu.com/question/53405779中的一些内容，网上很多的程序在绘制PR曲线中存在一些问题。 使用python+matplotlib 绘制PR曲线的代码应该如下：（其中出现争议的部分是ax.plot(x,y)）根据PR曲线，x轴为Recall， y轴为Precision。网上有些代码是反过来的。从matplotlib的源码中很容易可以发现是错误的。 import matplotlib...
Precision-Recall
人工智能
11-21 3763
Example of Precision-Recall metric to evaluate classifier output quality. Precision-Recall is a useful measure of success of prediction when the classes are very imbalanced. In information retrieva
查准率(Precision)和查全率(Recall)和 P-R曲线、ROC曲线
热门推荐
很吵请安静
08-10 1万+
数据发生倾斜时，准确率判断模型好坏就不那么准确了。比如风控模型中，99个正常用户和1个欺诈用户，用一个把所有用户都识别成正常用户的模型进行预测，那么该模型的准确率为99%,然而并没有什么用。所以要用另一个参数来衡量模型的好坏。 查准率(Precision)和查全率(Recall) 四类预测 将模型预测结果分为下面四类： 正确肯定（True Positive,TP）：预测为真，实际为真 正确否定（...
【深度学习应用】入门实验：PR-曲线、线性回归、卷积神经网络、GAN生成式对抗神经网络
有朋自远方来，不亦乐乎。
11-16 4577
本人是深度学习初学者，为了加强对深度学习的认识和应用，从网上搜集了几个实验和代码，个人感觉对小白很有帮助，现与大家分享。代码原文链接均已在博客中标注。学习资料：环境配置就是你在一个什么样的环境下敲代码做实验，我总结了两种环境，下面一一介绍给大家。 在本机上配置深度学习实验环境有两种方法： 用法：命令行(cmd)+交互式笔记本(Jupyter) 特点：简单方便个人比较推荐。 a、安装Anaconda
curve函数 roc_分类问题中的ROC曲线和Precision-Recall曲线Python -- part 1
weixin_39734020的博客
01-04 706
分类问题中的ROC曲线和Precision-Recall曲线Python -- part 1 (ROC curves)最近跟朋友讨论一些分类问题中模型的评估问题， 尤其是不平衡（imbalance outcomes）问题的模型评估。现总结和分析一下我们经常用到的ROC curves 和 Precision-Recall curves。读完本文(有三部分)，你将会对这两种曲线有更好的理解，以及你会清...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值