Graph Neural Networks with Generated Parameters for Relation Extraction

Graph Neural Networks with Generated Parameters for Relation Extraction（2019 ACL）

Idea：本文提出了一种图生成参数模型，该模型可以在无结构化数据上进行关系推理。解决现了现有模型只能显示的提取两实体之间的关系，不能进行关系的传递和推理。

Graph Neural Network with Generated Parameters (GP-GNNs)

      给定一个文本序列，其可能包含m个实体，关系抽取的任务是对每一个实体对预测出一个标签。GP-GNN模型是由一个全连接图构成的，，V是实体集合，是边集合，其。其GNN模型由三个模块组成，（1）encoding 模块。（2）传播模块。（3）分类模块进行关系推理。

Relation Extraction with GP-GNNs

给定一个句子，一个关系集合R，和一个实体集合，其中vi可能包含一个或者几个单词。

Encoding Module

X代表word embedding，p代表单词x距离实体i和j的position embedding。之后将其送到encode当中：

N代表其网络的层数，串联前馈LSTM的最后隐状态和反向LSTM的初试隐状态。

Word Representations：Glove

Position Embedding：将序列中的token标记为三种类型，分别是属于第一个实体，属于第二个实体，非实体。

Propagation Module

The Initial Embeddings of Nodes：第0层的hvi和hvj被分别的表示为和，其中。其就相当于为头实体和尾实体标记上了特殊的值，期望在GNN中可以一层一层的传播这些信息。

Classification Module

在输出模块中，将目标实体（vi，vj）作为输入，然后进行转变：

再进行关系预测：

Loss：

在实践中，将每个目标实体对堆叠在一起去推断各个实体对之间的潜在关系。