42、直接从分数分布预测查询性能

直接从分数分布预测查询性能

1. 引言

查询性能预测（QPP）在信息检索（IR）领域已成为一个重要问题。其目的是自动估计查询的性能，以便根据估计结果应用不同策略，如查询扩展或缩减。目前，预测器的性能通常通过计算其输出与查询性能（通常是平均精度）之间的相关性来衡量。然而，许多QPP方法缺乏理论依据，不清楚如何提高其性能。

本文基于对文档分数分布的建模，开发了一个有原则的框架，旨在直接预测查询性能。具体而言，我们将展示如何从文档分数分布推断标准性能指标（如平均精度），开发在未知相关性信息时自动估计分数分布参数的技术，并分析分布模型中最重要的参数。

2. 相关工作

• 分数分布建模 ：从IR早期开始，就有从理论角度对IR系统返回的文档分数分布进行建模的研究。近期，分数分布被用于数据融合、阈值过滤等。还有研究探讨了分数分布的生成过程，解释了其典型形状的原因。
• 查询性能预测 ：早期的QPP方法如清晰度分数，通过测量语言建模框架中查询与集合模型之间的KL散度来预测性能。一些方法通过测量排名对扰动的鲁棒性、相似排名文档的聚类能力来开发预测器。近期研究表明，排名列表中分数的标准差是查询性能的良好预测指标，但这些方法更多是基于启发式的，缺乏深入的理论理解。目前，还没有研究直接旨在估计查询的性能。

3. 显式建模查询性能

3.1 假设和混合模型

考虑一个IR系统，给定查询Q返回N个文档及其分数。我们假设系统根据概率排名原则独立对文档进行排名，且相关性判断为二元的。

采