6、文本排名评估与测试集介绍

文本排名评估与测试集介绍

1. 文本排名评估指标

1.1 指标类型

在文本排名中，使用不同的指标来衡量排名列表的质量，常见的指标可以分为两类：
- 面向精准度的指标 ：这种指标侧重于将相关文档排在前列，但在识别所有相关文档（即召回率）方面可能效果不佳。
- 面向召回率的指标 ：要求识别出所有相关文档。

1.2 指标报告

大多数测试集或评估采用官方指标，有时会有多个官方指标。在报告结果时，通常至少要包含这些官方指标，额外指标可以包含，但官方指标不可忽视。指标的选择一般由测试集创建者或评估组织者根据具体问题来决定。

报告指标时，有一些约定俗成的规则：
- 在某些评估中，指标通常报告到小数点后四位，例如 0.2932。
- 在文本描述中，分数的 0.01 单位常被称为一个“点”，如从 0.19 提升到 0.29 是 10 点的提升。
- 在一些 NLP 论文中，指标会乘以 100 后报告，如 0.2932 变为 29.32。
- 部分研究人员考虑到 0.001 的差异可能是噪声，会只报告到小数点后三位，如 0.2932 变为 0.293。

1.3 指标比较

比较结果时的评估实践有很多相关研究，如使用何种统计显著性检验以及何时使用等。由于篇幅有限，这里不详细阐述。

2. 社区评估与可复用测试集

2.1 测试集组成

评估文本排名模型需要以下要素：
- 待搜索的文本语料库。
- 一