5、信息检索中的相关性判断与排名指标解读

信息检索中的相关性判断与排名指标解读

在信息检索领域，评估系统的性能和排名结果的质量至关重要。这涉及到相关性判断和排名指标的运用，下面将详细介绍这些内容。

相关性判断的稳定性与作用

系统评估的稳定性是一个关键问题。通常，一组系统的评估结果在评估者变化时具有一定的稳定性。以Kendall’s τ这一标准排名相关指标衡量，其值通常能稳定在0.9以上。这意味着，如果系统A比系统B更优，那么无论使用何种相关性判断进行评估，系统A的得分很可能高于系统B。

相关性判断，也称为qrels，由一组(q, d, r)三元组组成，其中r是对(q, d)对的（人工提供的）注释。从实际角度看，它们包含在文本文件中，可作为测试集的一部分下载，并可被视为“基准事实”。相关性判断有不同的尺度，最简单的情况是r为二元变量，即文档d与查询q相关或不相关。此外，还有三等级（不相关、相关、高度相关）和五等级（完美、优秀、良好、一般、差）的尺度。非二元的相关性判断被称为分级相关性判断。

相关性判断主要有两个用途：一是在监督学习环境中训练排名模型，二是评估排名模型。过去，信息检索测试集规模较小，难以用于有效训练排名模型，但随着MS MARCO数据集的发布，社区获得了足够大的相关性判断集合，可用于监督学习训练模型。因此，在实际应用中，相关性判断、测试集和训练数据这几个术语常被大致互换使用。

相关性判断的数据表示形式

研究人员以不同方式描述用于排名模型监督学习的数据集，但本质上是等价的。相关性判断通常表示为(q, d, r)三元组，其中d多数情况下指语料库中文本的唯一ID，但在某些问答数据集中，“文档”可能只是一段文本，与语料库内容无直接关联。