【评价标准】MRR-推荐算法评价指标

转载 已于 2022-03-18 10:05:38 修改 · 2.5k 阅读 · 3 ·
CC 4.0 BY-SA版权
原文链接：http://blog.youkuaiyun.com/jiangjiang_jian/article/details/108246103
文章标签：

#神经网络

于 2020-09-22 11:42:28 首次发布
本文介绍了平均倒数排名(MRR)这一评估搜索算法效果的重要指标。MRR通过计算首次命中结果的位置倒数来衡量检索质量，位置越靠前得分越高。例如，在三次检索中目标分别位于第3、2、1位，则MRR为(1/3+1/2+1)/3=11/18。

平均倒数排名（Mean Reciprocal Rank, MRR）是一个国际上通用的对搜索算法进行评价的机制。

描述

结果列表中，第一个结果匹配，分数为1，第二个匹配分数为0.5，第n个匹配分数为1/n，如果没有匹配的句子分数为0。最终的分数为所有得分之和，再求平均

数学形式

正确检索结果值在检索结果中的排名来评估检索系统的性能。

MRR=\frac{1}{Q}\sum_{i=1}^{\left | Q \right |} \frac{1}{rank_i}

其中，\left | Q \right |是用户的个数，rank_i是对于第i个用户，推荐列表中第一个在ground-truth结果中的item所在的排列位置。

举例

假如检索三次的结果如下，需要的结果（cat，torus，virus）分别排在3,2,1的话，此系统地MRR为（1/3 + 1/2 + 1)/3 = 11/18

在这里插入图片描述

精通推荐算法5：推荐算法评价体系
谢杨易的博客
01-13 5263
推荐算法评估指标比较复杂，可以分为离线和在线两部分。召回、粗排、精排和重排由于定位区别，其评估指标也会有一定区别，下面详细讲解。
推荐系统排序指标：MRR、MAP和NDCG
最新发布
Cachel Wood的博客
05-30 491
摘要： 本文介绍了推荐系统中的三种关键评估指标：MRR、MAP和NDCG，分别来自基于二进制相关性和基于应用的两类度量家族。MRR关注首个相关结果的位置，适用于问答系统等场景；MAP通过计算平均精度衡量排序质量，适合二元相关性评估但对多级评分不敏感；NDCG支持多级相关性，通过折损累计增益和归一化处理，综合评估排序整体性能。各指标各有优劣：MRR简单但忽略后续结果，MAP对高排序错误敏感，NDCG计算复杂但更全面。实际应用中需根据场景需求选择合适指标。
RAG评估指标 Recall、MRR、NDCG
u010249118的博客
03-19 1530
指标核心目标适用场景局限性Recall减少漏检疾病诊断、安防检测忽略误检，需与 Precision 平衡MRR优化首位结果质量导航搜索、事实查询忽略后续结果，仅关注首个命中NDCG多等级排序质量评估推荐系统、个性化搜索计算复杂，需明确相关性等级定义参考资料：Recall 的定义与目标检测应用；：MRR 的计算与搜索场景；：NDCG 的原理与代码实现。
深度学习常用评价指标（Accuracy、Recall、Precision、HR、F1 score、MAP、MRR、NDCG）——推荐系统
记录知识，学习分享
04-11 1万+
1、准确率(Accuracy) 定义： 公式： 优缺点： 2、精确率(Precision) 3、召回率(Recall) 4、命中率(Hits Ratio) 5、平均精度均值(Mean average precision) 6、平均倒数排名(Mean Reciprocal Rank) 7、归一化折损累计增益(Normalized Discounted Cumulative Gain) ...
推荐系统评价指标 HR MRR NDCG
qq_43431934的博客
03-04 3371
HR(hit rate) 命中率。用户想要的东西，推荐系统有没有推荐出来，强调预测的"准确性" N：表示用户的访问总量，就是用户真实点击的个数。 hit(i) ：如果推荐系统推荐商品i，hit(i)就为1，否则为0。 MRR(平均倒数排名) 关心找到的这些项目，是否放在用户显眼的位置里，即强调顺序性。 N：表示用户的访问总量，就是用户真实点击的个数。 pi：表示itemi在推荐结果中出现的位置，如果没有出现，则pi就为+∞。 NDCG(Normalized ...
MRR-推荐算法评价指标
jiangjiane
08-26 3万+
平均倒数排名（Mean Reciprocal Rank, MRR）是一个国际上通用的对搜索算法进行评价的机制。 描述 第一个结果匹配，分数为1，第二个匹配分数为0.5，第n个匹配分数为1/n，如果没有匹配的句子分数为0。最终的分数为所有得分之和。 数学形式 正确检索结果值在检索结果中的排名来评估检索系统的性能。 其中，是用户的个数，是对于第个用户，推荐列表中第一个在ground-t...
评价指标MRR
weixin_34032621的博客
03-09 1364
参考https://blog.youkuaiyun.com/lightty/article/details/47079017 MRR(Mean Reciprocal Rank)：是把标准答案在被评价系统给出结果中的排序取倒数作为它的准确度，再对所有的问题取平均。相对简单，举个例子：有3个query如下图所示：(黑体为返回结果中最匹配的一项)可计算这个系统的MRR值为：(1/3 + 1/2 + 1)/3 =...
【推荐系统1---评价指标ACC、Recall、Precision、F1 score、HR、MRR、NDCG】
qq_45584615的博客
10-09 1612
S为样本的数目，可以理解为用户的需求项的数目。FP：False&Positive（positive表示正样本，false表示预测错误，即预测为正样本，实际也是负样本）FN：False&Negative（negative表示负样本，false表示预测错误，即预测为负样本，实际是正样本）预测结果列表中预测正确的样本占所有样本的比例，即用户想要的项目有没有推荐到，强调预测的“准确性”。预测为1的样本中实际为1的频率，也就是TP/（TP+FP）实际为1的样本中被预测为1的频率，TP/（TP+FN）
推荐系统常用评价指标及其 Python 实现
A-Egoist的博客
05-08 1417
推荐系统常用评价指标(Precision、Recall、HR、MRR、NDCG)
评价指标 MRR
s1162276945的博客
08-19 1万+
MRR(Mean Reciprocal Rank, 平均倒数排名) 是一个国际上通用的对搜索算法进行评价的机制，即第一个结果匹配，分数为1，第二个匹配分数为0.5，第n个匹配分数为1/n，如果没有匹配的句子分数为0。最终的分数为所有得分之和。...
推荐系统的评价指标--------命中率（Hit Rate）、平均倒数排名（MRR）和归一化折扣累积增益（NDCG）
m0_68682144的博客
01-18 1万+
命中率是衡量推荐系统准确性的指标之一。它表示。命中率的计算非常直接。你只需要统计推荐列表中用户实际感兴趣的项目数量，然后除以测试集中用户实际感兴趣的总项目数量。示例：假设一个用户在测试集中对5个项目感兴趣，推荐系统推荐了10个项目，其中3个是用户实际感兴趣的，那么命中率为 3/5 = 0.6。
IR的评价指标之MRR
weixin_33693070的博客
02-22 898
MRR(Mean Reciprocal Rank)：  　　是一个国际上通用的对搜索算法进行评价的机制，即第一个结果匹配，分数为1，第二个匹配分数为0.5，第n个匹配分数为1/n，如果没有匹配的句子分数为0。最终的分数为所有得分之和。 　　 把标准答案在被评价系统给出结果中的排序取倒数作为它的准确度，再对所有的问题取平均。相对简单，举个例子：有3个query如下图所示： (黑体为返回结果中最...
【推荐系统】常用评价指标NDCG、HR、Recall、MRR解析
Danger的博客
05-09 1万+
【推荐系统】常用评价指标NDCG、HR、Recall、MRR解析
推荐算法——MRR
AndrewPerfect的博客
07-10 963
MRR计算的是第一个正确答案的排名的倒数，并对所有查询取平均值。它衡量了模型在排序结果中快速找到正确答案的能力。
信息检索与数据挖掘 | 【实验】检索评价指标MAP、MRR、NDCG
知识库搭建ing
11-14 3571
MAP、MRR、NDCG
模型评估指标
迷途无归的博客
02-23 2076
模型评估指标 离线模型评估指标：MRR、MR、HITS@n MRR的全称是Mean reciprocal rank 。reciprocal rank是第一个正确答案的排名的倒数。MRR是指多个查询语句的排名倒数的均值。该指标越大越好。具体的计算方法如下： MR的全称是Mean Rank。该指标越小越好。具体的计算方法如下： HITS@n：第一个正确答案的排名小于n为1，否则为0；全部累加求...
推荐算法常用评价指标：NDCG、MAP、MRR、HR、ILS、ROC、AUC、F1等
热门推荐
十三
04-21 9万+
1 混淆矩阵 TP（true positive）：表示样本的真实类别为正，最后预测得到的结果也为正； FP（false positive）：表示样本的真实类别为负，最后预测得到的结果却为正； FN（false negative）：表示样本的真实类别为正，最后预测得到的结果却为负； TN（true negative）：表示样本的真实类别为负，最后预测得到的结果也为负. 其中，TP与TN表示分类正确...
推荐算法评估：precision ，recall，mrr，NDCG
不贪吃的猪
09-29 7218
ground_true 为1 的情况： recall=hit_rate 这时值的计算与你推荐个数多少无关，recall 又叫查全率，只要押中了，那就认为单用户命中率为100%。 precision 和 topk 有关，单个用户为 命中个数/topk，与recall 成正比。 计算平均值时用，命中的用户个数 / 总的用户个数。 ground_truth 为 多个 的情况： reca...
如何评价搜索算法的好坏？多角度解析
chowley的博客
01-29 1144
评价搜索算法的好坏需要综合考虑准确性、排序质量、响应时间、多样性、个性化和容错性等方面。一个优秀的搜索算法应当在这些方面取得平衡，以提供更优质、更个性化、更高效的搜索服务。好了，以上就是本文的全部内容，如有问题欢迎留言讨论。我是chowley，一个专注互联网技术和软件质量保障领域的博主，我们下次再见！
基于TensorFlow的推荐算法评估指标实战解析
该压缩包中包含的Python脚本文件有：AUC.py、NDCG.py、MAP.py、MRR.py、HR.py，这些文件分别对应于不同的推荐系统评价指标的实现。 在推荐系统中，评价模型的性能是一个重要的环节。传统的分类问题中，常用的评价...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值