30、非洲历史命名实体的自动和混合神经消歧评估

非洲历史命名实体的自动和混合神经消歧评估

1. 引言

历史文档中常常包含对人物、地点和组织等实体的引用，而非洲历史文档中的实体名称往往存在歧义。这可能是因为多个实体重名（同音异义词），或者同一实体有多个名称（同义词）。在历史语境中，这种人名歧义问题尤为突出，因为叙述者可能会用不同的名字指代同一个人，这会导致使用特定名称搜索信息时产生偏差。

为了解决这个问题，可以使用命名实体消歧（NED）系统。该系统首先检测文档中的提及（即指代实体的文本片段），然后将这些提及与知识库中的实体进行链接，这个过程也被称为命名实体链接（NEL）。

本文旨在探索在南非历史文档中对人名进行消歧，以解决上述问题。研究主要关注以下两个问题：
- 基于Transformer的语言模型在处理500年档案（FHYA）文本的NED任务时的准确性如何？
- 手工特征对NED模型准确性有何影响？

2. 相关工作

2.1 历史NED

历史文档在进行命名实体识别（NER）时比当代文档面临更多挑战。由于原始文档数字化时的光学字符识别（OCR）错误，文本往往更嘈杂。以往的NED系统会使用正则表达式、Levenshtein距离或单词识别系统来纠正这些错误。

HIPE（识别历史人物、地点和其他实体）活动产生了一些用于历史英语、法语和德语报纸文章的NER和NEL系统。例如，Boros等人开发的系统在竞赛中表现出色，使用基于BERT的模型识别实体，双向LSTM模型进行实体链接。而Labusch和Neudecker使用两个单独的BERT模型生成嵌入并评估候选实体，但召回率较低，他们认为这是由于知识库不足。

此外，H