知识图谱表示学习中的评价指标

一、Mean Rank

方法：

对于每个评测三元组，移去头部实体（迭代的方式替换尾部实体）、轮流替换成词表中的其他实体，构建错误的三元组实体。利用关系函数计算头部实体和尾部实体的相似度。对于这个相似度来讲，正确的三元组的值应该比较小，而错误样本的相似度值会比较大。用关系函数对所有的三元组（包括正确的三元组和错误的三元组）进行计算，并按照升序排序。并找出所有正确三元组在该排序中的排名位置做平均。对于一个好的知识图谱表示来说，正确三元组的得分（即头部实体和尾部实体的关系函数值）会小于错误三元组的得分，排名会比较靠前。所以可以用Mean Rank的方式衡量知识图谱表示向量的好坏。

 

二、hist@10

还是按照上述进行关系函数值进行排列，然后看每个评测三元组的正确三元组是否排在排名的前10，如果在前10的话就技术+1，最终hist@10=排在前10的数量/总数量