学习笔记-COMPOSITION-BASED MULTI-RELATIONAL GRAPH CONVOLUTIONAL NETWORKS

论文阅读笔记COMPOSITION-BASED MULTI-RELATIONAL GRAPH CONVOLUTIONAL NETWORKS (基于组合的多关系图卷积网络)

摘要

图神经网络主要关注无向图，每条边有标签和方向的多关系图是更普遍的形式，处理这种图的现存方法受限于过参数化和只学习节点特征。我们提出了一种新的图卷积架构（CompGCN），可以在关系图中嵌入节点和关系。CompGCN利用知识图谱的技术和规模的各种实体－关系的组合操作。它也归纳了几种现存的多关系gcn方法。从各种评估来看结果是成功的。

介绍

图是最具表现力的数据结构之一，已经被用来模拟各种问题。传统的神经网络结构，如卷积神经网络和递归神经网络，仅限于处理欧几里德数据。最近，为解决这一缺陷，提出了图卷积网络，并已成功地应用于社会网络、知识图、自然语言处理、药物发现、晶体性质预测和自然科学。
然而，关于GCN的大多数现有研究侧重于简单无向图中节点的学习表示。更普遍的图是多关系图。这类图的一个显著例子是知识图。大多数现有的基于GCN的处理关系图的方法过于参数化，仅限于学习节点表示。因此，这种方法不能直接应用于需要关系嵌入向量的链路预测等任务中。最初在图中学习关系表示的尝试在节点分类和神经机器翻译等任务上显示了一些性能改进。
对可以同时学习节点和关系表征的嵌入知识图谱进行了广泛的研究。这些方法局限于通过链接预测目标学习嵌入。在本文中，我们提出了CompGCN是一种用于多关系图的新的GCN框架，它系统地利用了知识图普嵌入技术中的实体-关系组合操作。CompGCN通过联合学习图中节点和关系的向量表示来解决以前提出的GCN模型的缺点。我们的工作：
1、我们提出了新框架CompGCN，将多关系信息融合到图卷积网络中的新框架，利用知识图谱嵌入技术中的各种组合操作，将节点和关系联合嵌入到图中
2、CompGCN框架归纳了几种多关系GCN方法，并随着图中关系数量的增加而扩展
3、通过大量试验证明了方法的有效性

相关工作

ＧＣＮ：kipf提出了利用切比雪夫多项式对GCN的一阶逼近，大多GCN方法根据信息传递神经网络（MPNN）框架进行节点聚合（gilmer）。我们的方法可以看作是MPNN框架的实例化，它专用于关系图。
多关系ＧＣＮ：一种ＧＣＮ的推广（marcheggiani），由于过参数化只考虑特定方向的滤波器，而忽略了他们的关系，有人提出（schlichtkrull）基和块对角分解关系的特定过滤器来解决。加权图卷积网络(shang)在GCN聚合过程中使用了可学习的特定关系标量权重。这些方法在节点分类和链路预测方面表现出较好的性能，但它们仅限于embedding图中的节点。我们提出的方法是一个更通用的框架，可以利用任何KG组合操作。
知识图谱嵌入：知识图谱嵌入是一个广泛研究的领域(Nickel等人，2016年；Wang等人，2017)，在链接预测和问题回答等任务中得到应用(Bordes等人，2014年)。大多数KG嵌入方法都定义了score函数，并对节点和关系嵌入进行了训练，从而为有效的三元组分配了比无效值更高的分数。根据score函数的类型，KG嵌入方法分为平移法(Bordes等人，2013年；Wang等人，2014年b)、基于语义匹配的方法(Yang等人，2014年；Nickel等人，2016年)和基于神经网络的方法(Socher等人，2013年；Dettmers等人，2018年；Vashishth等人，2019年)。在我们的工作中，我们评估了CompGCN的链接预测表现与三种方法。

背景

简要介绍了无向图的GCN及其对有向关系图的扩展。

无向图：





多关系ＧＣＮ：

Ｒ代表关系，（ｕ，ｖ，ｒ）表示节点ｕ和ｖ之间的关系ｒ，关系是双向的

Ｗrk表示模型的特定关系参数,易过参数化，故使用特定方向权重矩阵或者通过基和块对角分解

CompＧCN细节

Ｚ表示初始关系特征
模型基于切比雪夫多项式的GCN的一阶逼近，允许有向边缘的信息沿着两个方向流动，扩展了Ｒ和Ｅ有相应的逆边和关系

基于关系的CompGCN

CompGCN学习ｄ维度的关系和节点嵌入，将关系表示为向量，缓解了在关系图上应用GCNS时过参数化的问题，可利用任何可用的关系特性(Z)作为初始表示。为了结合关系嵌入到GCN公式中，我们利用了知识图谱的实体－关系组合操作

本文只做了非参数化运算，但此模型可扩展到参数化操作。组合操作的选择对learned embedding的质量很重要，KG将来的组合操作可以应用到此模型。

CompGCN更新方程

上式有过参数化特点，更新后：

Ｎｖ表示ｖ的邻近节点，Xu和Zr代表节点ｕ和关系ｒ的初始特征，hv代表节点ｖ更新，Ｗｒ表示关系类型的特定参数



Wrel是一个可学习的转换矩阵，它将所有关系按照节点投影到相同的嵌入空间，并允许在下一个层中使用它们。aerfabr是关系和基点特有的可学习标量权重

COMPGCN使用嵌入向量代替矩阵，只为第一层定义基向量。后一层根据方程通过变换来共享关系，这使得我们的模型比Relational-GCN模型更有效