Span-Level Model for Relation Extraction

Abstract

顺序解码器无法对重叠的实体提及建模，并且存在级联错误。为了解决这个问题，本文提出了一个直接对所有可能的span建模，并执行联合实体提及检测和关系提取模型。

1.Instruction

本文提出了一个简单的基于bi-lstm的模型，为每个可能的span生成span表示。然后将相同的span表示用于对所有检测到的实体提及对执行关系抽取。

2. Model

2.1 Span Representation Generation

给定具有T个token的文档D，可能存在的span为：$N=T(T+1)/2$，span i由START<i>，END <i>表示span的开始和结尾，目标是为了获取每个span的span表示$g_i$。

2.1.1 Raw Token Embeddings

对上下文嵌入使用固定的ELMo，对词嵌入、字符嵌入、从头开始训练，使用固定的Senna。考虑到相对较小的数据集，为了防止过拟合，作者只训练了字符嵌入。
对原始token $x_t$使用BiLSTM获得$x_t^{\ast }$：

2.1.2 Span Representation

使用注意力来创建特定任务的span表示，每个span的特征向量为：

对于每个span i，其span 表示$g_i$表示为：

2.2 Entity Mention Detection

主要的功能是预测每个span的实体类型。通过计算实体类型得分的向量来预测实体类型。

2.3 Relation Extraction

本文仅考虑有序的二元关系（每一对有序的选择span），使两个span来同一个句子。对于每一对span，首先计算一个嵌入$r_{i,j}$的有序对：

使用嵌入$r_{i,j}$的有序对来计算关系类型得分的向量。

$ML{P}_{re}$的输出大小以及$p_{i,j}^{re}$的大小等于RE类的数量。

2.4 Loss

3. Experiments

4. 启示

1. span提取的方法非常经典，有必要复现一下这篇论文的代码。
2. 老生常谈的问题：计算每一对span的关系，所需要的时间复杂度比较大