A Neighborhood-Attention Fine-grained Entity Typing for Knowledge Graph Completion：AttEt

论文地址

1 目的

该论文主要用于知识图谱补全的一个子任务，实体类型推测。提出一个方法为AttEt，AttEt通过聚集具有类型特定权重的给定实体的邻域知识，在实现时采用entity-level和neighborhood-level，对于entity-level采用基础的TransE进行训练，而对于neighborhood-level采用注意力机制，对于不同的neighbor赋予不同的权值。

2 模型

2.1 模型结构图

$f_{ij}=\{\begin{array}{ll}+1,& \left(e_i,r_{ij},e_{ij}\right)\text{ is hold 即出度 }\\ -1,& \left(e_{ij},r_{ij},e_i\right)\text{ is hold 即入度}\end{array}$

2.2 权重系数

作为该模型的第一步，需要求当前实体即target_entity周围neighborhod的权重，假设当前实体为$e_i$，需要求出当前节点$i$周围的权重${\alpha }_{ij}$。对于权重${\alpha }_{ij}$，其求解的过程类似于softmax，公式如下图所示：

${\alpha }_{i,j}=\frac{1}{z_i}{\left({\mathbf{W}}_q{\mathbf{t}}_{e_i}\right)}^{\top }{\mathbf{W}}_k\left({\mathbf{e}}_{ij}+f_{ij}\ast {\mathbf{r}}_{ij}\right)$

对于$z_i$求解公式为：

$z_i={\sum }_{\left(r_{ij},e_{ij}\right)\in \mathcal{N}\left(e_i\right)}{\left({\mathbf{W}}_q{\mathbf{t}}_{e_i}\right)}^{\top }{\mathbf{W}}_k\left({\mathbf{e}}_{ij}+f_{ij}\ast {\mathbf{r}}_{ij}\right),j\in [1,\dots ,n]$

其中${\mathbf{W}}_k\in {\mathbb{R}}^{d\times d}$ ,${\mathbf{W}}_q\in {\mathbb{R}}^{d\times d},t_{e_i}表示当前target-entity的type$

2.3 平滑因子

关系稀疏：实体的neighborhod（与实体$e_i$相关联的实体$e_{ij}$）非常的少， 但是实体的$type$较多，导致对于$type$进行预测相关信息较为少，他们的推理缺乏邻域的相关语义支持 。例如：Tina_Turner只有两个 neighbors，分别为 (Tina_Turner, hasMusicalRole, wordnet_vocal_music_107282006)和 (Tina_Turner, hasGender, female)。但是却有70多个entity_type。显然，仅靠关系稀疏实体的小范围邻域是很难支持所有实体类型的。

为了提高模型的鲁棒性，引入平滑因子：

${\alpha }_{i,j}^{\prime }=(1-\lambda ){\alpha }_{i,j}+\lambda \frac{1}{n}$

当 $\lambda =0$有利于关系密集的实体， $\lambda =1$有利于关系稀疏的实体。对于具有不同稀疏度的数据集，有不同的最优 $\lambda$。

2.4 neighbor-level 表示（实体相关的neighbor）

${\mathbf{H}}^{\text{neighbor }}={\sum }_{\left(r_{ij},e_{ij}\right)\in \mathcal{N}\left(e_i\right)}{\alpha }_{i,j}^{\prime }{\mathbf{W}}_v\left({\mathbf{e}}_{ij}+f_{ij}\ast {\mathbf{r}}_{ij}\right)$,${\mathbf{W}}_v\in {\mathbb{R}}^{d\times d}$, ${\alpha }_{i,j}^{\prime }$为平滑因子处理之后的权重系数。

2.5 entity-level表示

entity-level实体涉及的公式：$\mathbf{H}=\sigma \left({\mathbf{W}\mathbf{e}}_i+\mathbf{b}\right)$，对于entity-level内容，采用简单的TransE方法，因为仅仅采用baseline而不是采用TransE，使用最简单的Trans系列即可。

2.6 entity-type预测

对于entity-type预测采用融合${\mathbf{H}}^{\text{neighbor }}$和$\mathbf{H}$,其公式如下：

${\hat{\mathbf{t}}}_{e_i}=\mathrm{MLP}\left(\left[\mathbf{H};{\mathbf{H}}^{\text{neighbor }}\right]\right)$

2.7 预测函数

我们定义了预测函数来衡量实体$e_i$与其候选实体类型$t_{e_i}$之间的匹配得分，如

$s\left(e_i,t_{e_i}\right)={\Vert {\hat{\mathbf{t}}}_{e_i}-{\mathbf{t}}_{e_i}\Vert }_2$

2.8 损失函数

$\mathcal{L}={\sum }_{\left(e_i,t_{e_i}\right)\in {\Delta }_{e_i}}{\sum }_{\left(e_i,t_{e_i}^{\prime }\right)\in {\Delta }_{e_i}^{\prime }}{\left[s\left(e_i,t_{e_i}\right)-s\left(e_i,t_{e_i}^{\prime }\right)+\gamma \right]}_{+}$，其中 $|x{|}_{+}=\max (0,x)$，$\gamma >0$ 边际超参数，$\left(e_i,t_{e_i}\right)$ 和$\left(e_i,t_{e_i}^{\prime }\right)$分别表示正例和反例。${\Delta }_{e_i}$正实例集合，${\Delta }_{e_i}^{\prime }$负实例集合。

3 总结

3.1 实验对比

• AttEt without Neighbors：不使用Neighbor-level信息
• AttEt without Attention：${\alpha }_{ij}^{\prime }=\frac{1}{n}$

3.2 type类型

• Subtype：子tyoe
• Intersection：A和B至少有一个关联的neighbor
• Disjunction：A和B没有关联的neighbor