9、构建端到端问答（QA）管道的全面指南

构建端到端问答（QA）管道的全面指南

1. 问答数据集概述

在问答系统的发展中，数据集起着至关重要的作用。常见的问答数据集格式为（问题，评论，[答案句子]），这种格式在抽取式问答数据集中被广泛使用。

• SQuAD 数据集 ：它是一个著名的数据集，用于测试机器阅读文本段落并回答相关问题的能力。其创建过程是从维基百科中采样数百篇英文文章，将每篇文章划分为段落，然后让众包工作者为每个段落生成一组问题和答案。SQuAD 1.0 保证每个问题的答案都存在于相应的段落中，不久后序列模型在提取正确答案文本跨度方面的表现就超过了人类。为了增加任务难度，SQuAD 2.0 在 SQuAD 1.1 的基础上增加了一组对抗性问题，这些问题与给定段落相关，但仅从文本本身无法回答。截至目前，大多数自 2019 年以来的模型在 SQuAD 2.0 基准测试中的表现都超过了人类。然而，这种超人类的表现似乎并不反映真正的阅读理解能力，因为无法回答的答案可以通过段落中的模式（如反义词）来识别。
• Natural Questions（NQ）数据集 ：为了解决 SQuAD 存在的问题，谷歌发布了 NQ 数据集，它包含从谷歌搜索用户那里获得的事实性问题。NQ 数据集中的答案比 SQuAD 长得多，提供了更具挑战性的基准。

2. 使用 Haystack 构建 QA 管道

在实际应用中，用户通常只提供关于产品的问题，因此需要从语料库的所有评论中选择相关段落。一种简单的方法是将给定产品的所有评论连接起来，作为一个长上下文输入给模型，但这种方法会导致上下文过长，增加用户查询的延迟。