知识图谱问答的测评指标

(1）精确率。精确率（Precision）指问答方法对每个自然语言问句给出的黄金标准答案（问题对应的一个标准答案）占所有返回答案总数的比例。精确率计算公式可以形式化表示：

(2）召回率。一个自然语言问句可能存在多个标准答案，如：问题“杭州有那些景点？”就有多个标准答案，因此需要评测知识图谱问答方法召回完整答案的能力。召回率（Recall）表示知识图谱问答方法返回的正确答案数占返回的黄金标准答案的比例。召回率计算公式可以形式化表示为：

(3）准确率。准确率（Accuracy）表示知识图谱问答方法回答正确的问题数占所有问题的比例。准确率计算公式可以形式化表示为：

通常使用准确率定义指标Hits@K，即将答案列表按照特定值进行排序，如果前K个答案中有一个正确的则为1hit，否则为0hit，并最终计算整个问题集的平均值。

(4)F1值。通常知识图谱问答方法（系统）的总体性能使用F1值对精确率和召回率进行整体测评。测试集中的每个问题都有其对应的F1值，其计算公式可以形式化表示为：

[1]论兵,王月春,郝晓慧,谷斌,王会勇.知识图谱问答研究进展[J].软件导刊,2022,21(03):226-236.