A Neighborhood-Attention Fine-grained Entity Typing for Knowledge Graph Completion：AttEt

关注

原创 2022-03-07 15:34:15 1.1k 阅读 AI 写同款· GEO 优化 ›

【CVPR2023】Neighborhood Attention Transformer 我们提出了邻域注意力（NA），这是首个用于视觉领域的高效且可扩展的滑动窗口注意力机制。NA是一种逐像素操作，它将自注意力（SA）定位到每个像素的最近邻像素上，因此与SA的二次复杂度相比，它具有线性的时间和空间复杂度。滑动窗口模式使NA的感受野能够在无需额外像素移位的情况下增长，并且与Swin变换器的窗口自注意力（WSA）不同，它保持了平移等变性。阅读详情

论文地址

1 目的

该论文主要用于知识图谱补全的一个子任务，实体类型推测。提出一个方法为AttEt，AttEt通过聚集具有类型特定权重的给定实体的邻域知识，在实现时采用entity-level和neighborhood-level，对于entity-level采用基础的TransE进行训练，而对于neighborhood-level采用注意力机制，对于不同的neighbor赋予不同的权值。

2 模型

2.1 模型结构图

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-cosbo8rB-1646637999466)(C:\Users\Home-PC\AppData\Roaming\Typora\typora-user-images\image-20220307104054342.png)]$

$f_{i j}= \begin{cases}+1, & \left(e_{i}, r_{i j}, e_{i j}\right) \text { is hold 即出度 } \\ -1, & \left(e_{i j}, r_{i j}, e_{i}\right) \text { is hold 即入度}\end{cases}$

2.2 权重系数

作为该模型的第一步，需要求当前实体即target_entity周围neighborhod的权重，假设当前实体为 $e_{i}$ ，需要求出当前节点 $i$ 周围的权重 $\alpha_{ij}$ 。对于权重 $\alpha_{ij}$ ，其求解的过程类似于softmax，公式如下图所示：

$\alpha_{i, j}=\frac{1}{z_{i}}\left(\mathbf{W}_{q} \mathbf{t}_{e_{i}}\right)^{\top} \mathbf{W}_{k}\left(\mathbf{e}_{i j}+f_{i j} * \mathbf{r}_{i j}\right)$

对于 $z_{i}$ 求解公式为：

$z_{i}=\sum_{\left(r_{i j}, e_{i j}\right) \in \mathcal{N}\left(e_{i}\right)}\left(\mathbf{W}_{q} \mathbf{t}_{e_{i}}\right)^{\top} \mathbf{W}_{k}\left(\mathbf{e}_{i j}+f_{i j} * \mathbf{r}_{i j}\right), j \in[1, \ldots, n]$

其中 $\mathbf{W}_{k} \in \mathbb{R}^{d \times d}$ , $\mathbf{W}_{q} \in \mathbb{R}^{d \times d}, t_{e_{i}}表示当前target-entity的type$

2.3 平滑因子

关系稀疏：实体的neighborhod（与实体 $e_{i}$ 相关联的实体 $e_{ij}$ ）非常的少，但是实体的 $t y p e$ 较多，导致对于 $t y p e$ 进行预测相关信息较为少，他们的推理缺乏邻域的相关语义支持。例如：Tina_Turner只有两个 neighbors，分别为 (Tina_Turner, hasMusicalRole, wordnet_vocal_music_107282006)和 (Tina_Turner, hasGender, female)。但是却有70多个entity_type。显然，仅靠关系稀疏实体的小范围邻域是很难支持所有实体类型的。

为了提高模型的鲁棒性，引入平滑因子：

$\alpha_{i, j}^{\prime}=(1-\lambda) \alpha_{i, j}+\lambda \frac{1}{n}$

当 $\lambda=0$ 有利于关系密集的实体， $\lambda=1$ 有利于关系稀疏的实体。对于具有不同稀疏度的数据集，有不同的最优 $\lambda$ 。

2.4 neighbor-level 表示（实体相关的neighbor）

$\mathbf{H}^{\text {neighbor }}=\sum_{\left(r_{i j}, e_{i j}\right) \in \mathcal{N}\left(e_{i}\right)} \alpha_{i, j}^{\prime} \mathbf{W}_{v}\left(\mathbf{e}_{i j}+f_{i j} * \mathbf{r}_{i j}\right)$ , $\mathbf{W}_{v} \in \mathbb{R}^{d \times d}$ , $\alpha_{i, j}^{\prime}$ 为平滑因子处理之后的权重系数。

2.5 entity-level表示

entity-level实体涉及的公式： $\mathbf{H}=\sigma\left(\mathbf{W e}_{i}+\mathbf{b}\right)$ ，对于entity-level内容，采用简单的TransE方法，因为仅仅采用baseline而不是采用TransE，使用最简单的Trans系列即可。

2.6 entity-type预测

对于entity-type预测采用融合 $\mathbf{H}^{\text {neighbor }}$ 和 $\mathbf{H}$ ,其公式如下：

$\hat{\mathbf{t}}_{e_{i}}=\operatorname{MLP}\left(\left[\mathbf{H} ; \mathbf{H}^{\text {neighbor }}\right]\right)$

2.7 预测函数

我们定义了预测函数来衡量实体 $e_{i}$ 与其候选实体类型 $t_{e_{i}}$ 之间的匹配得分，如

$s\left(e_{i}, t_{e_{i}}\right)=\left\|\hat{\mathbf{t}}_{e_{i}}-\mathbf{t}_{e_{i}}\right\|_{2}$

2.8 损失函数

$\mathcal{L}=\sum_{\left(e_{i}, t_{e_{i}}\right) \in \Delta_{e_{i}}} \sum_{\left(e_{i}, t_{e_{i}}^{\prime}\right) \in \Delta_{e_{i}}^{\prime}}\left[s\left(e_{i}, t_{e_{i}}\right)-s\left(e_{i}, t_{e_{i}}^{\prime}\right)+\gamma\right]_{+}$ ，其中 $x|_{+}=\max (0, x)$ ， $\gamma>0$ 边际超参数， $\left(e_{i}, t_{e_{i}}\right)$ 和 $\left(e_{i}, t_{e_{i}}^{\prime}\right)$ 分别表示正例和反例。 $\Delta_{e_{i}}$ 正实例集合， $\Delta_{e_{i}}^{\prime}$ 负实例集合。