论文学习10-Joint entity recognition and relation extraction as a multi-head selection problem（实体关系联合抽取模型

Joint entity recognition and relation extraction as a multi-head selection problem
code

abstract

联合实体识别和关系提取的最新模型严重依赖外部自然语言处理(NLP)工具，如词性标记器和依赖解析器。因此，这种联合模型的性能取决于从这些NLP工具中获得的特征的质量。然而，这些特性对于不同的语言和上下文并不总是准确的。在本文中，我们提出了一个联合神经模型，它可以同时进行实体识别和关系提取，不需要任何手动提取的特征或使用任何外部工具。具体地，我们使用CRF(条件随机域)层将实体识别任务和关系提取任务建模为一个多头选择问题。，可能为每个实体标识多个关系)。我们提出了一个广泛的实验设置，以证明我们的方法的有效性使用数据集从不同的上下文(即。、新闻、生物医学、房地产)和语言(即、英语、荷兰)。我们的模型优于之前使用自动提取特征的神经模型，而它在基于特征的神经模型的合理范围内执行，甚至超过了它们

• 转化为多头选择问题
• 同时实体识别和关系识别
• 多重关系

1.introduction

• 管道模型(分开进行）
  • 这个问题传统上是作为两个独立的子任务处理的，即(i)命名实体识别(NER) (Nadeau &Sekine, 2007)和(ii)关系提取(RE) (Bach &Badaskar, 2007)，在一个管道设置中。管道模型的主要限制是:(i)组件之间的错误传播(即(ii)来自一个任务的可能有用的信息不会被另一个任务利用(例如，识别一个关联的工作可能有助于NER模块检测两个实体的类型，即。， PER, ORG，反之亦然)。另一方面，最近的研究建议使用联合模型来检测实体及其关系，以克服上述问题并实现最先进的性能。
  • 问题
    • 组件之间错误传播
    • 来自一个任务的有用信息不一定会被使用

以前的联合模式严重依赖手工制作的特征。神经网络的最新进展缓解了手工特征工程的问题，但其中一些仍然依赖于NLP工具(如POS标记器、依赖解析器)。

• 关系抽取
  • Miwa&Bansal(2016)提出了一种基于递归神经网络(RNN)的联合模型，该模型使用双向顺序LSTM (Long - Short - Term Memory，长短时记忆)对实体进行建模，并使用一种考虑依赖树信息的树-LSTM对实体之间的关系进行建模。依赖项信息是使用外部依赖项解析器提取的。
    • 依赖于依赖解析器，依赖解析器在特定语言（英语)和上下文(即、新闻)上表现得特别好——泛化性弱。
  • 同样，Li等人(2017)在生物医学文本的实体和关系提取中，采用了同样使用树- lstms的模型来提取依赖信息。
  • Gupta等人(2016)提出了一种依赖于RNNs的方法，但是使用了大量手工制作的特性和额外的NLP工具来提取诸如posr -tag等特性。
  • （注意，前面的工作是检查实体对的关系提取，而不是直接对整个句子建模。）
  • Adel,Schutze(2017)使用卷积神经网络(CNNs)复制实体周围的上下文。这意味着同一句子中其他对实体的关系(可能有助于决定关系类型为特定的一对)不考虑
  • Katiyar,Cardie(2017)提出了一种基于LSTMs的神经联合模型，他们一次对整个句子进行建模，但仍然没有一个处理多重关系的原则性方法。
  • Bekoulis等人(2018)引入了一个二次评分层来同时对两个任务进行建模。该方法的局限性在于只能将单个关系分配给一个token，而实体识别任务的时间复杂度与线性复杂度的标准方法相比有所增加
• 本文贡献
  • (i)我们的模型不依赖于外部NLP工具还是手工功能,
  • (ii)实体和关系在同一文本片段(通常是一个句子)同时提取,
  • (3)一个实体可以参与多个关系
  • 与Miwa比，本文想要开发一个能在各种设置中很好概括的模型，因此只使用在训练中学习到的自动提取的特性。——不同的上下文下也用相同的模型，得到了改进。
  • 与Adel和Schutze(2017)相比，我们通过一次建模所有实体和句子之间的关系来训练我们的模型。这种类型的推理有助于获得关于相邻实体和关系的信息，而不是每次只检查一对实体。
  • 最后，我们解决了Katiyar &Cardie(2017)和Bekoulis等人(2017)，他们本质上假定类(即关系）是互斥的：我们通过将关系提取组件描述为一个多标签预测问题来解决这个问题

2. 相关工作

2.1 命名实体识别

在我们的工作中，为了解决端到端关系提取问题，NER是我们首先要解决的任