7、QuAART：基于问答的实体识别框架及实验研究

QuAART：基于问答的实体识别框架及实验研究

在信息提取领域，实体识别是一项至关重要的任务。本文将介绍一种名为QuAART（Question Answering with Additive Restrictive Training）的框架，它通过问答的方式进行实体识别，并对其框架原理、使用的数据集、实验方法和结果进行详细阐述。

QuAART框架概述

QuAART框架的核心是根据所寻找的实体或属性的“类型”从模板构建问题。具体来说，问题模板会为词汇表中的每个类型生成 “What was the [type]?” 形式的问题。这些生成的问题会与相关的文本段落一起输入到问答模型中，问题的答案是文本中标识出问题所编码的给定类型实体的文本片段集合。

框架的一个关键部分是判断何时不回答问题。由于会提出许多预期为无结果的问题，例如当文本中未提及 “spacecraft” 时，“What was the spacecraft?” 这个问题就是无法回答的，会返回空结果。对于每个段落，QuAART会提出数百个问题，因此仅输出置信度高的答案至关重要。

为了解决这个问题，设计了一个算法来过滤和选择最合适的文本片段。该算法使用启发式方法去除可能不是实体名称的长答案片段（算法第7行），并优先选择频繁出现的实体（算法第13行）。这个选择是针对每个文本和每个模板化问题进行的。

算法的一个重要输入是给模型的置信度阈值。由于问答模型通常不是为实体检测任务设计的，其预测的模型置信度阈值对于该任务设置得过低，导致许多问题的答案为空。为了解决这个问题，通过使用一小部分标记数据的开发集，凭经验确定一个合适的置信度阈值，并且这个置信度阈值不一定需要针对每个新领域进行调整。