Natural questions: a benchmark for question answering research 论文速读

文章核心观点

本文介绍了 Natural Questions 数据集，这是一个用于问答研究的新数据集。该数据集包含真实匿名用户向谷歌搜索引擎提出的查询，以及针对这些查询在维基百科上找到的答案的注释。注释包括长答案（通常是一段文字）和短答案（一个或多个实体），如果页面上没有答案，则标记为 null。数据集包含 307,373 个训练示例，7,830 个用于开发的数据，以及 7,842 个用于测试的数据。本文还介绍了用于评估问答系统的鲁棒指标，并展示了这些指标上的人类上限，并使用来自相关文献的竞争方法建立了基线结果。

1. 引言

• 开放域问答 (QA) 是自然语言理解 (NLU) 的重要任务，具有实际应用价值，并可以推动 NLU 方法的发展。
• 现有的 QA 数据集存在一些局限性，例如：
  • 问题与答案的生成方式不自然
  • 任务定义过于简单
  • 缺乏大规模训练数据
  • 评估指标不完善
    2. 相关工作
• 介绍了 SQuAD、TriviaQA、NarrativeQA、HotpotQA、WikiQA、MS MARCO 等现有 QA 数据集的优缺点，并分析了它们与 NQ 的差异。
  3. 任务定义和数据收集
• NQ 数据集包含 (问题， 维基百科页面， 长答案， 短答案) 四元组，其中：
  • 问题是来自 Google 搜索引擎的真实匿名聚合查询
  • 维基百科页面可能包含也可能不包含问题的答案
  • 长答案是包含回答问题所需所有信息的 HTML 框，通常是段落或表格
  • 短答案是长答案中回答问题的实体或实体集，或布尔值 “yes” 或 “no”
• 数据收集过程包括：
  • 使用启发式方法从 Google 搜索引擎中过滤出问题
  • 对