【论文笔记】Heterogeneous Graph Attention Network

$题目：《Heterogeneous$ $Graph$ $Attention$ $Network》$ 🔗
$作者：Xiao$ $Wang$
$来源：WWW2019$
$源码：$github addr
$笔记：Hu$ $Hengchang$

原文摘自我自己的博客Link：http://holdenhu.cn/2020/paper-noteheterogeneous-graph-attention-network/

Intro

---

本文提出的HAN(Heterogeneous Graph Attention Network)涉及到节点级别和语义级别。

• 节点级别的Attention主要学习节点及其临近节点间的权重。
• 语义级别的Attention是来学习基于不同meta-path的权重。

 

Related Work

---

Graph Neural Network
  ​GNN作为深度学习领域的扩展，用来处理无规则图结构数据。主要的信息传播使用卷积，即GCN，可以分为两类：

• 谱方法用于谱表示的图中，代表作Semi-supervised classification with graph convolutional networks
• 非谱域方法直接在图上进行卷积，对空间上的近邻进行操作。代表作大名鼎鼎的GraphSAGE。
   

Attention
注意力机制在深度学习中也有广泛的应用，self-attention、soft-attention等。也已经有很多基于图Attention的应用，但是都是同构图的数据。
但2019年随后的一篇Graph Transformer Networks也是在异构图上的工作,详见我的note。
 

Network Embedding
Network embedding和network representation learning都是在保留图的结构前提下，将网络转换到低位空间(比如推荐系统里常用的user embedding就是压缩到了一维特征值)。而以往的方法比如random walk、matrix factorization都是基于同构图。

 

Contribution

---

现实世界的交互数据往往种类繁多，构成的heterogeneous graph network (HIN)往往特别复杂，GNN不能直接应用。这也几乎是首次将attention机制用到处理meta-path和graph embedding里。

• HAN能解决异构图中多种Node、Relation，以及Semantic融合的问题；
• 该模型能够并行计算；
• 整个模型的Attention是共享的；
• 具有很好的可解释性；

 

Implemention

---

Preliminary

• Heterogeneous Graph
  图可以表示成：
  $$\mathcal{G}=(\mathcal{V},\mathcal{E})$$
  其中$\mathcal{V}$表示节点集，$\mathcal{E}$表示边的集合

• 两个映射函数把节点和边映射到他们的种类上去：
  $$\varphi :\mathcal{V}\to \mathcal{H}$$
  $$\psi :\mathcal{E}\to \mathcal{R}$$

• Meta-path的表示：
  $$A_1\stackrel{R_1}{⟶}{A}_2\stackrel{R_2}{⟶}\cdots \stackrel{R_l}{⟶}{A}_{l+1}$$
  简单来说即是从节点A到节点B所经过的一系列点的序列。

• Meta-path based Neighbors：基于一条meta-path的邻居节点。
  { {<note “// 默认一个节点的邻居节点包括其自身。”>}}