信息检索的评价指标(Precision, Recall, F-score, MAP、ROC、AUC）

最新推荐文章于 2025-09-25 16:05:43 发布
原创 最新推荐文章于 2025-09-25 16:05:43 发布 · 5.7k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了信息检索领域的几个关键评价指标，包括Precision（准确率）、Recall（召回率）、F1 Score（F1分数）以及MAP（平均准确率）。此外，还探讨了ROC曲线和AUC（曲线下面积）在分类器性能评估中的作用。理解这些指标对于优化检索系统和分类模型至关重要。

一：Precision, Recall, F-score

         信息检索、分类、识别、翻译等领域两个最基本指标是召回率(Recall Rate)和准确率(Precision Rate------注意统计学习方法中precesion称为精确率，而准确率为accuracy 是分类正确的样本除以总样本的个数)，召回率也叫查全率，准确率也叫查准率，概念公式:

            召回率(Recall)=  系统检索到的相关文件 / 系统所有相关的文件总数；；；亦即预测为真实正例除以所有真实正例样本的个数

            准确率(Precision)=  系统检索到的相关文件 / 系统所有检索到的文件总数；；；亦即等于预测为真实正例除以所有被预测为正例样本的个数。

              

最低0.47元/天 解锁文章
java 计算auc_信息检索的评价指标(Precision、Recall、F-score、MAP、ROC、AUC)
weixin_28756427的博客
03-05 458
一：Precision、Recall、F-score信息检索、分类、识别、翻译等领域两个最基本指标是召回率(Recall Rate)和准确率(Precision Rate——注意统计学习方法中precision称为精确率，而准确率accuracy是分类正确的样本除以总样本的个数)，召回率也叫查全率，准确率也叫查准率，概念公式：召回率(Recall) = 系统检索到的相关文件 / 系统所有相关的文件...
机器学习指标(Precision、Recall、mAP、F1 Score等)
林学森的技术专栏
04-26 5057
以下文章摘录自： 《机器学习观止——核心原理与实践》 京东：https://item.jd.com/13166960.html 当当：http://product.dangdang.com/29218274.html (由于博客系统问题，部分公式、图片和格式有可能存在显示问题，请参阅原书了解详情) ———————————————— 版权声明：本文为优快云博主「林学森」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。 原文链接：https://blog.cs.
信息检索的评价标准
weixin_30700099的博客
10-08 386
信息检索的评价标准 最近在看检索的相关论文，接触到了很多与检索相关的评价准则。整理在此，以供查询 以下内容主要来自 Wiki for evaluation of an information retrieval system *** 1. 基本假设与术语 以一个文本检索系统为例，我们事先拥有一堆文档集，并且集合中每篇文档的属性都知道，每篇文档对应的相关文档是哪些也都一清二楚。 设想我们查询单篇...
信息检索的评价指标(Precision、Recall、F-score、MAP、ROC、AUC)
universe_ant的博客
04-11 6294
一：Precision、Recall、F-score 信息检索、分类、识别、翻译等领域两个最基本指标是召回率(Recall Rate)和准确率(Precision Rate——注意统计学习方法中precision称为精确率，而准确率accuracy是分类正确的样本除以总样本的个数)，召回率也叫查全率，准确率也叫查准率，概念公式： 召回率(Recall) = 系统检索到的相关文件 / 系统所有相
mAP到底是什么？
qq_63864989的博客
09-25 1120
mAP 是什么？是目标检测模型的核心评估指标，值越高模型越好。计算流程：步骤1：设定一个 IoU 阈值（如 0.5）。步骤2：对于每个类别，根据不同的置信度阈值计算一系列 (Precision, Recall) 点，绘制 PR 曲线。步骤3：计算每个类别 PR 曲线下的面积，得到该类别的AP。步骤4：将所有类别的AP取平均值，得到mAP。核心价值：mAP 用一个数字综合反映了模型在不同类别、不同置信度阈值、不同IoU要求下的整体性能，非常全面和稳健。因此，它成为了比较不同目标检测算法性能的“黄金标准”。
信息检索度量指标（MAP@N, P@N）
arvinChen的博客
09-06 1752
这篇文章中，我们了解了二元相关性和分级标签相关性的各种评估指标，以及每个指标如何改进之前的指标
Precision和Recall
weixin_43455016的博客
08-13 2493
和是评估分类模型性能的两个重要指标，它们虽然都与模型的正确性相关，但关注的角度和用途有所不同。
信息检索的评价指标(Precision, Recall, F-score, MAP)
小村长技术blog
12-08 4万+
之前写过一篇blog叫做机器学习实战笔记之非均衡分类问题：http://blog.youkuaiyun.com/lu597203933/article/details/38666699其中对Precision和Recall及ROC都有所讲解，其中区别在于Precision,Recall, F-score, MAP主要用于信息检索，而ROC曲线及其度量指标AUC主要用于分类和识别，ROC的详细介绍见上面的b
信息检索中常用的评价指标：MAP,nDCG,ERR,F-measure
tzl2093的博客
04-10 1万+
知识点文本检索常用的评价指标：MAP、nDCG、ERR、F-score/F-measure以及附加的Precision、Recall、AveP、CG、DCG、IDCG、MRR、cascade models 一，MAP Precision(P)： 准确率(精确度)是指检索得到的文档中相关文档所占的比例，公式如下： precision=|{relevantdocuments}⊆{ret
Precision和Recall​
weixin_42035080的博客
09-22 3645
2021-09-22 Precision和Recall 首先，Precision和Recall都是评估正类的，分子都是TP。 Precision: 精确率，也称“查准率”，是基于我们的预测结果的，在我们的预测结果中，与标签相比，正确预测的记为TP，错误预测的记为FP。 Precison = TP / (TP + FP) Recall:召回率，也称“查准率”，是基于原样本中所有正类的，在我们的预测结果中，与标签相比，正确预测的记为TP，没预测出的记为FN（也称漏检，即把原样本中的正类预测为负类）。R.
Precision (精确率) 和 Recall (召回率)
weixin_51976215的博客
04-08 1万+
Precision (精确率) 和 Recall (召回率) 是机器学习中的两个重要指标，用于评估分类模型的性能。精确率指预测为正的样本中真正为正的样本占比，召回率指真正为正的样本中被正确地预测为正的样本占比。其中，TP 表示真正为正的样本预测为正，FP 表示真正为负的样本预测为正，FN 表示真正为正的样本预测为负。通常情况下，精确率和召回率是相互矛盾的，提高精确率会降低召回率，反之亦然。
准确率（accuracy）、精确率（precision）、召回率（recall）
Cheese_pop的博客
10-13 6万+
整理了知乎上的前两个回答，https://www.zhihu.com/question/19645541 其中精度是检索出相关文档数与检索出的文档总数的比率，衡量的是检索系统的查准率；召回率是指检索出的相关文档数和文档库中所有的相关文档数的比率，衡量的是检索系统的查全率。一般来说，Precision就是检索出来的条目（比如：文档、网页等）有多少是准确的，Recall就是所有准确的条目有多少被检索
算法工程师面试备战笔记10_精确率(precision)和召回率(recall)
kaggle expert，全球排名前1000，清华计算机研究生，兴趣算法工程
02-10 495
混淆矩阵 True Positive(真正, TP)：将正类预测为正类数. True Negative(真负 , TN)：将负类预测为负类数. False Positive(假正, FP)：将负类预测为正类数 → 误报 (Type I error). False Negative(假负 , FN)：将正类预测为负类数 → 漏报 (Type II error). 精确率(precision)定义为： 需要注意的是精确率(precision)和准确率(accuracy)是不一样的， ..
Precision（准确率）和Recall（召回率）介绍
weixin_42638415的博客
10-20 4万+
为什么我们需要Precision(准确率)和Recall(召回率)？ 首先我们仅仅只看loss的话，会出现什么问题。 举个例子：比如对于一个二分类的模型，我们通过训练得到最终loss仅为5%，也就是准确率达到了95%，这很明显我们认为这是一个比较优秀的模型。 但是，如果我们的训练数据，仅有3%的数据对应标签为0，也就是负样本，其余均为正样本，对应标签为1. 这样会发生什么？如果我们的网络只能输出1，无论输入是什么，都只能输出1，这...
recall、precision和f1
骑鱼的喵喵的博客
07-15 1271
准确率、召回率、F1信息检索、分类、识别、翻译等领域两个最基本指标是召回率(Recall Rate)和准确率(Precision Rate)，召回率也叫查全率，准确率也叫查准率，概念公式:             召回率(Recall)      =  系统检索到的相关文件 / 系统所有相关的文件总数             准确率(Precision) =  系统检索到的相关文件 / 系统所有检...
手推多分类precision(精确率)、recall(召回率)、F1分数
芒果不茫的博客
10-07 7253
按照样例手推precision、recall、F1分数，以及多分类时macro、micro、weighted的计算方法，并给出代码实现验证
机器学习：准确率(Precision)、召回率(Recall)、F值(F-Measure)、ROC曲线、PR曲线
热门推荐
小太阳~
04-26 30万+
以下第一部分内容转载自：机器学习算法中的准确率(Precision)、召回率(Recall)、F值(F-Measure)是怎么一回事摘要：数据挖掘、机器学习和推荐系统中的评测指标—准确率(Precision)、召回率(Recall)、F值(F-Measure)简介。 引言：在机器学习、数据挖掘、推荐系统完成建模之后，需要对模型的效果做评价。业内目前常常采用的评价指标有准确率(Precision)、召
precision、recall、accuracy的概念
weixin_34120274的博客
01-14 136
机器学习中涉及到几个关于错误的概念： 　　precision：（精确度） 　　　　precision =TP/(TP+FP) 　　recall：（召回率） 　　　　recall =TP/(TP+FN) 　　accuracy：（准确度） 　　　　accuracy =(TP+TN)/(TP+FP+TN+FN) 　　F1score： 　　　　F1score = (2 * pre...
ROC-AUC和AP
最新发布
10-30
### ROC - AUC #### 概念 ROC（Receiver operating characteristic）是一个二维平面空间中一条曲线，全称为受试者特征曲线。AUC（Area Under Curve）被定义为ROC曲线下的面积，是一个具体的值。ROC曲线一般处于y = x这条直线的上方，所以AUC的取值范围在0.5和1之间。AUC反映的是分类器对于样本的排序能力，AUC值越大，模型的分类效果越好 [^1][^2][^3]。 #### 计算方法 ROC曲线是以fpr（false positive rate）为x轴，tpr（true positive rate）为y轴，取不同的score threshold画出来的。tpr（true positive rate）即sensitivity（recall），计算公式为： $$ \begin{aligned} sensitivity&=recall=true\ positive\ rate\\ &=\frac{tp}{tp + fn}\\ &=P(\hat{y}=1|y = 1) \end{aligned} $$ fpr（false positive rate） = 1 - specifity，specifity计算公式为： $$ \begin{aligned} specifity&=1 - false\ positive\ rate\\ &=\frac{tn}{fp + tn}\\ &=P(\hat{y}=0|y = 0) \end{aligned} $$ AUC就是从所有正例样本中随机选择出一个样本，在所有负例样本中随机选择出一个样本，使用分类器进行预测。将正例样本预测为正的概率记作$P_1$，将负例样本预测为负的概率记作$P_0$，$P_1 > P_0$的概率就等于AUC值 [^3]。 #### 应用 使用AUC值作为评价标准是因为很多时候ROC曲线并不能清晰地说明哪个分类器的效果更好，而作为一个数值，对应AUC更大的分类器效果更好。通常使用AUC的目的，一是为了比较不同模型性能的好坏，二是为了找到得到最佳指标值的那个阈值点。此外，AUC值对于样本类别是否均衡并不敏感，这也是不均衡样本通常使用AUC评价分类器性能的一个原因 [^1][^3]。 ### AP（Average Precision） #### 概念 在提供的引用中未提及AP的相关内容。AP（Average Precision）是信息检索领域中常用的一个指标，用于衡量检索系统的性能。在目标检测和图像分类等机器学习任务中也有应用。它是对不同召回率下的精确率求平均，反映了模型在不同召回水平下的平均精确程度。 #### 计算方法 AP的计算通常是在不同的召回率阈值下计算精确率，然后对这些精确率值进行平均。具体步骤如下： 1. 按照模型预测的置信度对所有预测结果进行排序。 2. 从高到低依次选取预测结果，计算不同召回率下的精确率。 3. 对这些精确率值进行平均，得到AP值。 #### 应用 AP常用于评估目标检测模型和图像分类模型的性能。在目标检测任务中，每个类别都会计算一个AP值，然后可以通过计算所有类别的平均AP（mAP，mean Average Precision）来综合评估模型的性能。 ### 代码示例（Python计算ROC - AUC） ```python from sklearn.metrics import roc_auc_score import numpy as np # 示例真实标签和预测概率 y_true = np.array([0, 0, 1, 1]) y_scores = np.array([0.1, 0.4, 0.35, 0.8]) # 计算ROC - AUC auc = roc_auc_score(y_true, y_scores) print(f"ROC - AUC: {auc}") ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值