信息检索的评价指标(Precision, Recall, F-score, MAP、ROC、AUC）

最新推荐文章于 2024-11-14 15:18:03 发布
最新推荐文章于 2024-11-14 15:18:03 发布
阅读量5.7k 收藏 6
点赞数 1
CC 4.0 BY-SA版权
分类专栏： Machine Learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lzxyzq/article/details/51313344
本文详细介绍了信息检索领域的几个关键评价指标，包括Precision（准确率）、Recall（召回率）、F1 Score（F1分数）以及MAP（平均准确率）。此外，还探讨了ROC曲线和AUC（曲线下面积）在分类器性能评估中的作用。理解这些指标对于优化检索系统和分类模型至关重要。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一：Precision, Recall, F-score

         信息检索、分类、识别、翻译等领域两个最基本指标是召回率(Recall Rate)和准确率(Precision Rate------注意统计学习方法中precesion称为精确率，而准确率为accuracy 是分类正确的样本除以总样本的个数)，召回率也叫查全率，准确率也叫查准率，概念公式:

            召回率(Recall)=  系统检索到的相关文件 / 系统所有相关的文件总数；；；亦即预测为真实正例除以所有真实正例样本的个数

            准确率(Precision)=  系统检索到的相关文件 / 系统所有检索到的文件总数；；；亦即等于预测为真实正例除以所有被预测为正例样本的个数。

              

最低0.47元/天 解锁文章

200万优质内容无限畅学
F-score
YanGeGe_GitHub的专栏
09-18 2932
Precision, Recall, Accuracy, F-score
java 计算auc_信息检索的评价指标(Precision、Recall、F-score、MAP、ROC、AUC)
weixin_28756427的博客
03-05 425
一：Precision、Recall、F-score信息检索、分类、识别、翻译等领域两个最基本指标是召回率(Recall Rate)和准确率(Precision Rate——注意统计学习方法中precision称为精确率，而准确率accuracy是分类正确的样本除以总样本的个数)，召回率也叫查全率，准确率也叫查准率，概念公式：召回率(Recall) = 系统检索到的相关文件 / 系统所有相关的文件...
信息检索的评价标准
weixin_30700099的博客
10-08 341
信息检索的评价标准 最近在看检索的相关论文，接触到了很多与检索相关的评价准则。整理在此，以供查询 以下内容主要来自 Wiki for evaluation of an information retrieval system *** 1. 基本假设与术语 以一个文本检索系统为例，我们事先拥有一堆文档集，并且集合中每篇文档的属性都知道，每篇文档对应的相关文档是哪些也都一清二楚。 设想我们查询单篇...
信息检索的评价指标(Precision、Recall、F-score、MAP、ROC、AUC)
universe_ant的博客
04-11 6085
一：Precision、Recall、F-score 信息检索、分类、识别、翻译等领域两个最基本指标是召回率(Recall Rate)和准确率(Precision Rate——注意统计学习方法中precision称为精确率，而准确率accuracy是分类正确的样本除以总样本的个数)，召回率也叫查全率，准确率也叫查准率，概念公式： 召回率(Recall) = 系统检索到的相关文件 / 系统所有相
信息检索度量指标（MAP@N, P@N）
arvinChen的博客
09-06 1594
这篇文章中，我们了解了二元相关性和分级标签相关性的各种评估指标，以及每个指标如何改进之前的指标
Precision和Recall​
weixin_42035080的博客
09-22 3563
2021-09-22 Precision和Recall 首先，Precision和Recall都是评估正类的，分子都是TP。 Precision: 精确率，也称“查准率”，是基于我们的预测结果的，在我们的预测结果中，与标签相比，正确预测的记为TP，错误预测的记为FP。 Precison = TP / (TP + FP) Recall:召回率，也称“查准率”，是基于原样本中所有正类的，在我们的预测结果中，与标签相比，正确预测的记为TP，没预测出的记为FN（也称漏检，即把原样本中的正类预测为负类）。R.
模型的评估指标——IoU、混淆矩阵、Precision、Recall、P-R曲线、F1-score、mAP、AP、AUC-ROC
Atticus的博客
11-14 2426
YOLO是最先进的目标检测模型之一。目标检测问题相比分类问题要更加复杂，因为目标检测不仅要把类别预测正确，还要预测出这个类别具体在哪个位置。我将目标识别的评估指标总结为两部分，一部分为预测框的预测指标，另一部分为分类预测指标。
机器学习指标(Precision、Recall、mAP、F1 Score等)
林学森的技术专栏
04-26 4950
以下文章摘录自： 《机器学习观止——核心原理与实践》 京东：https://item.jd.com/13166960.html 当当：http://product.dangdang.com/29218274.html (由于博客系统问题，部分公式、图片和格式有可能存在显示问题，请参阅原书了解详情) ———————————————— 版权声明：本文为优快云博主「林学森」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。 原文链接：https://blog.cs.
信息检索的评价指标(Precision, Recall, F-score, MAP)
小村长技术blog
12-08 4万+
之前写过一篇blog叫做机器学习实战笔记之非均衡分类问题：http://blog.youkuaiyun.com/lu597203933/article/details/38666699其中对Precision和Recall及ROC都有所讲解，其中区别在于Precision,Recall, F-score, MAP主要用于信息检索，而ROC曲线及其度量指标AUC主要用于分类和识别，ROC的详细介绍见上面的b
Precision和Recall
chen_znn的博客
06-04 2084
本文解释了Precision和Recall
Precision (精确率) 和 Recall (召回率)
weixin_51976215的博客
04-08 1万+
Precision (精确率) 和 Recall (召回率) 是机器学习中的两个重要指标，用于评估分类模型的性能。精确率指预测为正的样本中真正为正的样本占比，召回率指真正为正的样本中被正确地预测为正的样本占比。其中，TP 表示真正为正的样本预测为正，FP 表示真正为负的样本预测为正，FN 表示真正为正的样本预测为负。通常情况下，精确率和召回率是相互矛盾的，提高精确率会降低召回率，反之亦然。
准确率（accuracy）、精确率（precision）、召回率（recall）
Cheese_pop的博客
10-13 5万+
整理了知乎上的前两个回答，https://www.zhihu.com/question/19645541 其中精度是检索出相关文档数与检索出的文档总数的比率，衡量的是检索系统的查准率；召回率是指检索出的相关文档数和文档库中所有的相关文档数的比率，衡量的是检索系统的查全率。一般来说，Precision就是检索出来的条目（比如：文档、网页等）有多少是准确的，Recall就是所有准确的条目有多少被检索
算法工程师面试备战笔记10_精确率(precision)和召回率(recall)
kaggle expert，全球排名前1000，清华计算机研究生，兴趣算法工程
02-10 430
混淆矩阵 True Positive(真正, TP)：将正类预测为正类数. True Negative(真负 , TN)：将负类预测为负类数. False Positive(假正, FP)：将负类预测为正类数 → 误报 (Type I error). False Negative(假负 , FN)：将正类预测为负类数 → 漏报 (Type II error). 精确率(precision)定义为： 需要注意的是精确率(precision)和准确率(accuracy)是不一样的， ..
Precision（准确率）和Recall（召回率）介绍
weixin_42638415的博客
10-20 4万+
为什么我们需要Precision(准确率)和Recall(召回率)？ 首先我们仅仅只看loss的话，会出现什么问题。 举个例子：比如对于一个二分类的模型，我们通过训练得到最终loss仅为5%，也就是准确率达到了95%，这很明显我们认为这是一个比较优秀的模型。 但是，如果我们的训练数据，仅有3%的数据对应标签为0，也就是负样本，其余均为正样本，对应标签为1. 这样会发生什么？如果我们的网络只能输出1，无论输入是什么，都只能输出1，这...
recall、precision和f1
骑鱼的喵喵的博客
07-15 1234
准确率、召回率、F1信息检索、分类、识别、翻译等领域两个最基本指标是召回率(Recall Rate)和准确率(Precision Rate)，召回率也叫查全率，准确率也叫查准率，概念公式:             召回率(Recall)      =  系统检索到的相关文件 / 系统所有相关的文件总数             准确率(Precision) =  系统检索到的相关文件 / 系统所有检...
手推多分类precision(精确率)、recall(召回率)、F1分数
芒果不茫的博客
10-07 7035
按照样例手推precision、recall、F1分数，以及多分类时macro、micro、weighted的计算方法，并给出代码实现验证
机器学习：准确率(Precision)、召回率(Recall)、F值(F-Measure)、ROC曲线、PR曲线
热门推荐
小太阳~
04-26 30万+
以下第一部分内容转载自：机器学习算法中的准确率(Precision)、召回率(Recall)、F值(F-Measure)是怎么一回事摘要：数据挖掘、机器学习和推荐系统中的评测指标—准确率(Precision)、召回率(Recall)、F值(F-Measure)简介。 引言：在机器学习、数据挖掘、推荐系统完成建模之后，需要对模型的效果做评价。业内目前常常采用的评价指标有准确率(Precision)、召
precision、recall、accuracy的概念
weixin_34120274的博客
01-14 107
机器学习中涉及到几个关于错误的概念： 　　precision：（精确度） 　　　　precision =TP/(TP+FP) 　　recall：（召回率） 　　　　recall =TP/(TP+FN) 　　accuracy：（准确度） 　　　　accuracy =(TP+TN)/(TP+FP+TN+FN) 　　F1score： 　　　　F1score = (2 * pre...
特征匹配中的AUC和mAP
最新发布
01-19
### 特征匹配中的AUC和mAP概念及其区别 #### AUC (Area Under the Curve) AUC是指ROC曲线下的面积，用于衡量二分类模型的质量。在特征匹配场景下，AUC反映了匹配算法区分正样本（正确匹配）与负样本（错误匹配）的能力[^2]。 - **取值范围**: 0 到 1之间 - **理想情况**: 当AUC接近于1时，说明模型具有很好的区分能力；而当其等于0.5时，则意味着随机猜测的效果。 - **计算方法**: - 首先获取一系列不同的决策阈值对应的真正类率(True Positive Rate, TPR) 和假正类率(False Positive Rate, FPR). - 绘制TPR相对于FPR的变化图即得到ROC曲线. - 对这条曲线下方区域求积分即可获得AUC. ```python from sklearn import metrics import numpy as np def calculate_auc(y_true, y_score): fpr, tpr, _ = metrics.roc_curve(y_true, y_score) auc_value = metrics.auc(fpr, tpr) return auc_value ``` #### mAP (mean Average Precision) mAP是平均精确度均值，在目标检测、检索等领域广泛应用。对于特征匹配而言，mAP能够综合反映召回率(Recall)变化过程中系统的整体性能表现. - **定义**: 平均Precision@k的期望值，其中k是从1到n(n为测试集中所有可能的相关项数量). - **特点**: 更加关注高排名位置上的预测准确性，并且可以处理类别不平衡问题. - **计算过程**: ```python def compute_ap(ranked_retrievals, ground_truth_ids): hits = 0 precisions = [] for i, retrieval_id in enumerate(ranked_retrievals): if retrieval_id in ground_truth_ids: hits += 1 precision_at_i = hits / float(i + 1) precisions.append(precision_at_i) ap = sum(precisions)/len(ground_truth_ids) if len(ground_truth_ids)>0 else 0 return ap def mean_average_precision(retrieval_lists, query_to_gt_map): map_scores = [] for qid, retrieved_items in retrieval_lists.items(): gt_set = set(query_to_gt_map[qid]) current_ap = compute_ap(retrieved_items, list(gt_set)) map_scores.append(current_ap) final_mAP = np.mean(map_scores) return final_mAP ``` #### 主要差异 - **侧重点不同**: AUC侧重于评估整个分布范围内分类器的表现，尤其适合用来比较不同模型的整体优劣；而mAP更关心实际应用中最前面几个推荐结果的好坏，因此更适合评价具体应用场景下的系统效能。 - **适用场合有别**: 如果希望全面考察一个特征匹配方案在整个置信区间内的稳定性，可以选择AUC作为主要评测标准之一；若是针对特定任务需求，比如快速筛选出最有可能配对成功的前几名候选对象，则应该优先考虑采用mAP来指导优化方向。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值