大语言模型-检索测评指标

1. MRR （Mean Reciprocal Rank）平均倒数排名：

衡量检索结果排序质量的指标。
计算方式： 对于每个查询，计算被正确检索的文档的最高排名的倒数的平均值，再对所有查询的平均值取均值。
意义： 衡量对于多次查询，检索结果的排名，适用于评估检索结果排序效果好坏的情况。强调“顺序性”。
公式： |Q|表示查询的总次数，$ran{k}_i$表示第i次查询中第一个准确结果的排序。
$$MRR=\frac{1}{|Q|}\sum _{i=1}^{|Q|}\frac{1}{ran{k}_i}$$

2. AP（Average Precision）平均精度:

衡量检索结果排序质量的指标。
计算方式： 一次查询结果正确结果的精确率求和除以查询结果的总数
意义： 衡量对于一个查询，检索结果中所有与 ground-truth相关的文档是否都有较高的排序。AP衡量的是整个排序的平均质量。
公式： K表示一次查询共查询K个文档，Pre代表精确率，Rel(n)表示这次查询结果中的第n个结果相关性分数，这里命中为1，未命中为0。
A P = ∑ n = 1