知识图谱论文中模型指标MRR，MR，HITS@1，HITS@3，HITS@10的含义

原创

已于 2022-05-05 15:07:32 修改 · 6.4k 阅读

25 ·

CC 4.0 BY-SA版权

文章标签：

#知识图谱

于 2022-05-05 15:06:07 首次发布

知识图谱论文中模型指标MRR，MR，HITS@1，HITS@3，HITS@10的含义

本文将介绍用于衡量知识图谱嵌入（Knowledge Graph Embedding，KGE）模型性能中最常用的几个指标：MRR，MR，HITS@1，HITS@3，HITS@10。

文章目录

- 知识图谱论文中模型指标MRR，MR，HITS@1，HITS@3，HITS@10的含义

一、MRR

MRR的全称是Mean Reciprocal Ranking(排名的倒数)，其中Reciprocal是指“倒数的”的意思。具体的计算方法如下：

其中 $S$ 是三元组集合， $|S|$ 是三元组集合个数， $rank_i$ 是指第 $i$ 个三元组的链接预测排名。该指标越大越好。例如，对于三元组(Jack，born_in，Italy)，链接预测的结果可能是

s        p         o            score   rank
Jack   born_in   Ireland        0.789      1
Jack   born_in   Italy          0.753      2  *
Jack   born_in   Germany        0.695      3
Jack   born_in   China          0.456      4
Jac

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Code_demon

关注关注

6
点赞
踩
25

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

KGC的衡量指标（MR、MRR、Hits@n）

syy1292的博客

03-01

2159

衡量知识图嵌入的常见指标MRR、MR、Hits@n

知识图谱常用评价指标：MRR，MR，HITS@K，Recall@K，Precision@K

l8947943的博客

11-14

2万+

MRR的全称是Mean Reciprocal Ranking(排名的倒数)，其中Reciprocal是指“倒数的”的意思。该指标越大越好（即预测排名越靠前，倒数就越大，求和结果越大越好）。MRR=∣S∣1∑i=1∣S∣ranki1=∣S∣1(rank11+rank21+⋅⋅⋅+ranki1)其中S是三元组集合，∣S∣是三元组集合个数，ranki。

参与评论您还未登录，请先登录后发表或查看评论

2021-03-09

yuehao1143631149的博客

03-12

1160

Information Prediction using Knowledge Graphs for Contextual Malware Threat Intelligence Abstract 有关恶意软件攻击的大量威胁情报信息以完全不同的(通常是非结构化的)格式提供。知识图可以使用由实体和关系表示的RDF三元组来捕获此信息及其上下文。然而，稀疏或不准确的威胁信息会导致诸如不完整或错误的三元组等挑战。用于填充知识图的命名实体识别(NER)和关系提取(RE)模型不能完全保证准确的信息检索，进一步加剧了这

知识图谱评价指标hit@n、MR

帆的博客

11-25

3691

知识图谱评价指标

论文笔记：Subgraph Retrieval Enhanced Model for Multi-hop Knowledge BaseQuestion Answering

qq_40398918的博客

06-21

2040

提出了一个子图检索器(SR ),它与后续的KBQA推理机相分离。SR被设计为有效的双编码器，其可以在扩展路径以及确定扩展的停止时更新问题。两个基准测试的实验结果表明，在面向子图的推理机之前注入SR，可以有效提高QA性能。如果通过弱监督预训练以及端到端微调来学习SR，配备有NSM的SR为基于嵌入的KBQA方法创建新的SOTA结果。......

知识图谱嵌入的衡量指标：MRR，MR，HITS@n

ZCS的博客

03-03

2万+

知识图谱嵌入的衡量指标：MRR，MR，HITS@n

KGE性能指标：MRR，MR，HITS@1，HITS@3，HITS@10

热门推荐

飞机火车巴雷特的博客

09-12

4万+

知识图谱MRR，MR，HITS@1，HITS@3，HITS@10的含义、计算方法

机器学习中的MR和MRR

Norstc的博客

03-29

4962

设有一个test集，大小为M，对其进行分类，label的数目共有N个。那么预测结果共有M个，每个结果是对于N个label的评分，设第i个test目标的groud-truth排名为。 MR（Mean Rank，平均排名）： MRR（Mean Reciprocal Rank，平均倒数排名）：可见，MR越小越好，MRR越大越好。 MR的取值范围： MRR的取值范围：，（注意倒数，即1除以原数，而不是倒着数）举例： N=1000，M=10， eg1：排名结果是前9个都是1，最后一个是

知识图谱补全中MRR指标低而Hits@10高反映了什么

weixin_44466434的博客

07-25

1888

知识图谱表示学习中的评价指标

qq_22472047的博客

04-26

2177

一、Mean Rank 方法：对于每个评测三元组，移去头部实体（迭代的方式替换尾部实体）、轮流替换成词表中的其他实体，构建错误的三元组实体。利用关系函数计算头部实体和尾部实体的相似度。对于这个相似度来讲，正确的三元组的值应该比较小，而错误样本的相似度值会比较大。用关系函数对所有的三元组（包括正确的三元组和错误的三元组）进行计算，并按照升序排序。并找出所有正确三元组在该排序中的排名位置做平均。对于一个好的知识图谱表示来说，正确三元组的得分（即头部实体和尾部实体的关系函数值）会小于错误三元组的得分，排名会

知识图谱嵌入评价指标之MRR，Hits@n

weixin_45440484的博客

03-21

1493

Knowledge Graph Embedding，KGE模型性能中最常用的几个指标：MRR,HITS@1,HITS@10。MRR和HITS@10是两个重要指标，不可缺少，MR不被看作是一个好的指标，所以不进行介绍。

MRR和Hits@n

CJK's Blog

10-06

1093

MRR是一种衡量搜索质量的方法。我们取一个未被破坏的节点，找到距离定义为相似性分数的**”最近邻”**。根据相似性得分对最近的节点进行排名，并期望连接的节点会出现在排名的顶部。如果节点没有出现在第一个，MRR 会降低模型的精度得分。根据相似性得分对最近的节点进行排名，我们期望被破坏的节点出现在。(n通常为1、3和10)

Hits详解

杨鑫newlife的专栏

10-27

1670

//====Hits详解====// //这是Hits的几个公有的接口 //取得当前结果集的数量 //public final int length() //取得当前结果集中第N个Document //public fianal Document doc(int n) throws IOException //取得当前结果集中第N个Document的得分 //

模型评估指标

迷途无归的博客

02-23

2071

模型评估指标离线模型评估指标：MRR、MR、HITS@n MRR的全称是Mean reciprocal rank 。reciprocal rank是第一个正确答案的排名的倒数。MRR是指多个查询语句的排名倒数的均值。该指标越大越好。具体的计算方法如下： MR的全称是Mean Rank。该指标越小越好。具体的计算方法如下： HITS@n：第一个正确答案的排名小于n为1，否则为0；全部累加求...

几种常用的 Metrics to evaluate the link prediction results / recommender systems 链接预测评估指标，推荐系统适用

baiyuhe的博客

11-03

934

Hit@K / MRR

基线模型指的是什么？作用是？

weixin_44943389的博客

12-18

4522

基线模型（Baseline Model）是在解决问题之前建立的一个简单而直观的模型，用于提供问题的初始解决方案或性能水平。它通常是一种简单的模型，可以用来与更复杂的模型进行比较，评估更高级模型的性能。将更高级的模型的性能与基线模型进行比较，可以评估这些模型相对于简单方法的效果。基线模型可以提供一个问题的基准性能水平，即在没有使用复杂模型的情况下，系统或算法的性能如何。通过了解基线模型的表现，可以更明智地选择适用于特定问题的更高级模型。如果一个简单的模型能够取得令人满意的结果，那么可能不需要更复杂的模型。

少样本知识图谱补全技术研究概述（新模型会持续更新，可以偶尔来看，等我读文献的）

qq_45444343的博客

03-12

4056

少样本知识图谱补全（FKGC）是目前知识图谱补全任务的一个研究热点，旨在拥有少量样本数据的情况下，完成知识图谱补全任务。该任务在实际应用和知识图谱领域都有着重要的研究意义,为了进一步促进FKGC领域的发展，对目前各类方法进行了全面总结和分析。

MR、MRR、Hits@N

最新发布

03-15

### 关于MR、MRR 和 Hits@N 的定义及计算方法 #### 平均排名 (Mean Rank, MR) 平均排名是一种用于衡量链接预测任务性能的评估指标。它通过计算测试集中所有样本的预测排名的平均值来反映模型的整体表现。具体来说，对于每一个三元组 $(h, r, t)$，模型会为其分配一个预测分数，并基于此分数对其进行排序。如果目标实体 $t$ 被正确预测，则其对应的排名会被记录下来。最终，所有这些排名的平均值即为 MR。 \[ MR = \frac{1}{|T|} \sum_{(h,r,t) \in T} rank(h, r, t)[^1] \] 这里，$rank(h, r, t)$ 表示针对特定头实体 $h$ 和关系 $r$ 正确尾实体 $t$ 的预测排名，而 $T$ 是测试集中的所有三元组集合。尽管简单直观，但 MR 对异常值非常敏感——即使只有一个错误预测具有极低的概率也会显著拉高整体评分[^2]。 --- #### 倒数平均排名 (Mean Reciprocal Rank, MRR) 为了缓解 MR 受极端情况影响较大的问题，引入了倒数平均排名这一替代方案。该度量方式不仅考虑到了每个实例的具体位置信息，还赋予较高优先级给那些接近首位的结果。因此，在实际应用当中往往能够提供更为稳健可靠的评判依据： \[ MRR = \frac{1}{|T|} \sum_{(h,r,t) \in T} \frac{1}{rank(h, r, t)}[^3] \] 相比起单纯依赖绝对位次的传统做法而言，采用这种方式可以更好地体现系统检索能力的真实水平；不过需要注意的是，由于涉及到分母运算的缘故，当某些条目完全未能匹配成功时可能会导致数值趋于无穷大或者零的情况发生。 --- #### 击中率 @ N (Hits@N) 击中率是一个二分类性质的统计量，用来判断在前 N 个推荐项里是否存在至少一次成功的预测。通常情况下我们会关注几个固定阈值下的表现如何变化趋势，比如 Top-10 或者 Top-50 等常见选项设置。形式化表达如下所示: \[ Hits@N = \frac{1}{|T|} |\{(h,r,t) \in T : rank(h, r, t) \leq N\}| \] 这意味着只要真实标签出现在指定范围之内就算作有效命中事件之一计入总数之中去累加起来形成比例估计值作为最终输出结果呈现出来供进一步分析比较之用。 ```python def calculate_metrics(ranks): mr = sum(ranks) / len(ranks) mrr = sum([1/rank for rank in ranks]) / len(ranks) hits_at_1 = sum([1 if rank <= 1 else 0 for rank in ranks]) / len(ranks) hits_at_3 = sum([1 if rank <= 3 else 0 for rank in ranks]) / len(ranks) hits_at_10 = sum([1 if rank <= 10 else 0 for rank in ranks]) / len(ranks) return {"mr": mr, "mrr": mrr, "hits@1": hits_at_1, "hits@3": hits_at_3, "hits@10": hits_at_10} ``` 上述代码片段展示了如何根据一组预测排名列表 `ranks` 来计算 MR、MRR 和 Hits@N 这些重要评估指标的实际实现过程。 ---