读论文 《Learning Knowledge Graph Embedding With Heterogeneous Relation Attention Networks》

0.Summary:

Title: Learning Knowledge Graph Embedding With Heterogeneous Relation Attention Networks

Journal: IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS 2021

JCR: 1区

IF:8.591

Abstract:

​ 图嵌入是为了更好的保留图的固有结构，图神经网络在图嵌入有着接触的性能。

​ 但是知识图谱存在内在的异质性（ heterogeneity），因此如何在处理复杂图数据的同时聚合多类型的语义信息便是一个关键问题。

​ 在这篇论文中，提出了一个基于注意力的异构GNNs框架，具体来说：首先便是在每一个关系的路径下聚合实体的相邻特征，然后通过关系特征学习不同关系路径的重要性。最后，将每个基于关系路径的特征与学习的权重值进行聚合来生成嵌入表示。因此这个方法不仅仅是通过不同的语义聚合实体特征，还为其分配权重。这一方法可以捕捉各种语义信息并选择聚类信息特征

1.引文

1.1 简介

​ 知识图谱的结构，虽然包含了大量的实体关系和三元组，但人仍然存在比如完整性，局部性和新增知识等问题，为了克服这些问题，研究者看向了连接预测。

​ （ link prediction）旨在预测图谱中丢失的真相。已存在的连接预测方法被称为图谱嵌入（KGE ： KG embedding）KGE学习关系和实体的嵌入表达，以保持KGs的固有结构。然后利用这些嵌入来促进后续的链路预测任务。

​ 但是，以前很少有KGE方法具有结构强制并将连接结构纳入嵌入空间。相比之下，**图神经网络（GNN）**可以有效地聚合每个节点的局部信息

为什么：

1.GNN作为图形数据的表示学习工具，可以利用与节点相关的邻居特征

2.通过施加相同的聚合函数，可以提高卷积计算的学习效率

​ 但是，KG通常具有多种类型的实体和关系，被广泛称为异构信息网络，实体在不同的关系下表现不同的语义特征，**因此，**传统的GNN方法不能直接应用于KGs，必须要解决以下问题

要解决的问题：

1.知识图谱的异构性，如何保留多个特征信息

2.关系的重要性，如何融合语义特征以及如何选择有意义的路径并分配权重

3.聚合器的影响，由于图结构的数据的无序性，聚合器通常运行在无序的特征向量上，因此需要研究不同聚合器对性能的影响。

​ 基于上述分析，本文提出了一个新的异构关系注意力网络学习框架HRAN，其首先融合每个基于关系路径的实体的用于表示语义的特征。然后通过到实体的不同关系路径聚合这些特征。之后利用注意力机制获得不同关系路径的权重值。基于每个关系路径的学习注意力值，我们的方法可以在层次结构中聚合适当的邻居特征组合。因此，聚合实体特征可以有效地处理异构KG中丰富的语义信息和复杂的结构。

1.2 相关工作

1.介绍了图神经网络和注意力机制的研究成果 ，但这些GNN的研究都不能直接应用到异构的知识图谱中

2.介绍了几种经典的知识图谱嵌入方法，比如TransE及其变体，但其学习的表达特征较少，限制了其性能。介绍了神经网络在KGE中的研究，但存在没有考虑图异构型和注意力的问题

3.HRAN遵循层次结构，包括实体级聚合、关系级聚合和三重态预测，并给出了主要符号

2 预备工作

2.1 链路预测

G = ( ε , R , T ) w h e r e   ε = { e 1 , e 2 , … ， e ∣ ε ∣ }   a n d   R = { r 1 , r 2 , … , r ∣ R ∣ } 表示实体和关系集 T ⊆ ε 表示三元组的集合 × R × ε   表示三元组的集合 e s , r , e 0 ∈ R d 表示其的 d 维嵌入 G = (\varepsilon,R,T) \\ where\\ \ \varepsilon = \{ e_1,e_2,…，e_{|\varepsilon|}\}\ and \ R = \{r_1,r_2,…,r_{|R|}\} 表示实体和关系集\\ T\subseteq \varepsilon 表示三元组的集合 \times R \times \varepsilon \ \ 表示三元组的集合\\ \bold e_s,\bold r,\bold e_0 \in R^d 表示其的d维嵌入 G=(ε,R,T)where ε={ e1​,e2​,…，e∣ε∣​} and R={ r1​,r2​,…,r∣R∣​}表示实体和关系集T⊆ε表示三元组的集合×R×ε  表示三元组的集合es​,r,e0​∈Rd表示其的d维嵌入

对于给定一个特定关系的实体，链路预测旨在预测另一个能组成正确三元组的实体，优化的目的通常是评分正确的三元组高于不正确的三元组

HRAN框架

（a） 首先，根据每个基于关系路径的邻接矩阵聚合实体的基于关系路径的邻居。

（b） 然后，通过不同的聚合函数聚合具有每个关系路径的学习权重的聚合信息。

（c） 最后利用分数函数提供三元组是否正确的概率预测。

（a） 实体级聚合。（b） 关系级聚合。（c） 三重态预测。

2.2 图卷积

​ 在本文中，图卷积被用来聚合节点特征以及为连接预测生成嵌入

​ 令 H代表节点特征矩阵，则前向传播可以写成：
$$\begin{gathered} H^{(l)}=f({\tilde{D}}^{-\frac{1}{2}}\tilde{A}{\tilde{D}}^{-\frac{1}{2}}{H}^{(l-1)}{W}^{(l)}) \\ f是激活函数\tilde{A}=(A+I)\in R^{|\epsilon |\times |\epsilon |}代表G的邻接矩阵 \\ \tilde{D}代表\tilde{A}的度量矩阵{\tilde{D}}_{ii}=\sum _j{\tilde{A}}_{ij} \end{gathered}$$
对于非对称邻接矩阵的有向图D，可以通过逆矩阵归一化A
$$H^{(l)}=f({\tilde{D}}^{-1}\tilde{A}{H}^{(l-1)}{W}^{(l)})$$
上述卷积公式是为了处理异构图结构数据，因为关系和关系路径实体是两种基础元素，一个新的异构图数据GNN框架是捕捉其内在差异的必要条件

3 模型

3.1 实体类聚合

​ 由于异构性，不适合直接进行聚类。因此提出实体类聚合，首先聚合每一个基于关系路径的实体特征

​ 基于h和r作为初始实体和关系特征，我们首先融合每个基于关系路径的实体特征，等式如下：
h N ( e ) r ( l − 1 ) = Θ a g g ( { h i ( l − 1 ) ∀ i ∈ N ( e ) r } )   ∀ r ∈ R w h e r e   N e r 代表基于关系实体的集合 h 代表着基于路径 r 聚合的特征 \bold h^{(l-1)}_{N^r_{(e)}}=\Theta_{agg}(\{ \bold h ^{(l-1)} _i \forall i\in N^r_{(e)}\}) \ \forall r \in R\\ where \ N^r_e 代表基于关系实体的集合 \\h代表着基于路径r聚合的特征 hN(e)r​(l−1)​=Θagg​({ hi(l−1)​∀i∈N(e)r​}) ∀r∈Rwhere Ner​代表基于关系实体的集合h代表着基于路径r聚合的特征
​ 在本文中,聚合函数\theta 在实体类中紧挨着GCN 因此可以写成
$$h_{N_{(e)}^r}^{(l-1)}=|N_{(}$$