7、QuAART：用于实体识别的问答训练框架研究

QuAART：用于实体识别的问答训练框架研究

1. QuAART框架概述

QuAART（Question Answering with Additive Restrictive Training）框架主要用于实体识别任务。其整体流程如下：
- 问题构建 ：当给定一个新类型时，根据所需实体或属性的“类型”从模板构建问题。具体来说，问题模板会为词汇表中的每个类型生成 “What was the [type]?” 形式的问题。
- 问题回答 ：将生成的问题与相关文本段落一起输入到问答模型中，问题的答案是一组文本跨度，用于识别问题中编码的给定类型的实体。

框架的一个核心部分是判断何时不回答问题。因为会针对每个段落提出数百个问题，很多问题预期是没有答案的。例如，给定一段文本和问题 “What was the spacecraft?”，如果文本中未提及航天器，该问题就是无法回答的，会返回空结果。因此，仅输出置信度高的答案至关重要。

为了解决这个问题，设计了一个算法来过滤和选择最合适的文本跨度。算法使用启发式方法移除可能不是实体名称的长答案跨度，并优先选择频繁出现的实体。该算法的重要输入是一个给定模型的置信度阈值。由于问答模型通常不是为实体检测任务设计的，其预测的模型置信度阈值对于此任务设置得过低，导致很多问题的答案为空。为此，通过使用一小部分标记数据的开发集，凭经验确定一个合适的置信度阈值，并且这个置信度阈值不一定需要为每个新领域进行调整。

实体识别后，框架会将结果转换为标准的Begin - Inside - Outside（BIO）标记系统进行评估。此外，该框架还设计用于使用