Enriching Pre-trained Language Model with Entity Information for Relation Classification 论文阅读笔记

Enriching Pre-trained Language Model with Entity Information for Relation Classification 论文阅读笔记
（R-BERT关系抽取）

一、核心思想：

关系分类不仅依赖于整个句子的信息，还依赖于具体目标实体的信息。

二、方法：

1.在实体1左右两侧添加$标记，在实体2左右两侧添加#标记。在句子开头添加[CLS]标记。

2.将句子输入到BERT模块中，得到一系列隐状态H（设维度为d）。设H_i到H_j是实体1的隐状态，H_k到H_m是实体2的隐状态，依次运用平均运算、tanh激活、全连接层处理得到两个实体的最终表示H₁^’和H₂^’：

这里设置W₁=W₂，b₁=b₂。

3.设H₀是[CLS]标记的隐状态，同样对其运用tanh激活、全连接层处理得到句子的最终表示H₀^’：

这里，作者将W₀、W₁、W₂的维度均设置为d×d。

4.将三个最终表示H₀^’、H₁^’、H₂^’连接，对其运用全连接层处理、softmax分类：

W₃的维度为L×3d（L是关系种类数）。

三、实验设置：

使用交叉熵损失函数，且在每次全连接层处理前使用dropout操作。

使用SemEval-2010Task8官方评分脚本评测模型。

BERT模型使用uncased basic model。

四、消融实验：

只使用句子信息，不使用实体信息，也不给实体定位：F1值81.09。

使用句子信息，使用实体信息，但不给实体定位（即计算H₁^’和H₂^’，但不使用$和#标记）：F1值87.98。

使用句子信息，不使用实体信息，但给实体定位（不计算H₁^’和H₂^’，使用$和#标记）：F1值87.99。

使用句子信息，使用实体信息，且给实体定位（即计算H₁^’和H₂^’，使用$和#标记，即本文的方法R-BERT）：F1值89.25。