11、问答系统中排名的机器学习方法

问答系统中排名的机器学习方法

1. 引言

问答（QA）是一个具有挑战性的话题，由于其在Siri、Google Assistant、Alexa和Cortana等数字助理以及Watson等认知系统中发挥着核心作用，近年来受到了越来越多的关注。问答系统旨在处理各种类型的问题，如事实类、列表类、定义类、假设类等。这些系统通常从知识库或语料库文档中提取信息，以寻找问题的答案，这些集合的规模可以从小型语料库到整个万维网。

问答系统通常可以分为两个子领域：
- 封闭领域 ：问题及其答案通常属于单一领域。在封闭领域问答中，知识库可以由少量文档组成，也可以使用本体或领域语言资源。
- 开放领域 ：问题可以涉及任何主题，虽然无法利用领域语言资源，但可用的集合包含大量数据，可从中提取信息。

此外，问题还可以根据类型进行分类：
- 现实问题（事实类） ：关于世界一般文化的问题，答案为真或假。
- 主观信念问题 ：答案为“无关/不可接受”或“相关/可接受”。

传统的问答系统通常采用流水线方法，大致包括问题分析、文档/段落检索和答案选择。本文主要关注答案选择，即根据问题分析的结果从候选答案中选择问题的答案。这一过程具有挑战性，因为通常需要在众多错误答案中识别出正确答案。具体来说，本文聚焦于答案的排名，这是流水线的最后一步。所开发的问答方法基于意大利语，使用的是封闭领域的数据集，包含关于文化遗产的问题以及后续的真或假答案。通过基于分类的方法，本文实现了比基于模糊逻辑的方法更高的准确率。

<