图深度学习(deep learning on graphs)第四章第三部分（4.3）阅读笔记

复杂图上的图嵌入

一、异质图嵌入
异质图中存在着不同种类的节点。一个框架HNE用于将异质图中不同种类的节点映射到同一个embedding space中去，对于每一种节点都采用了不同的mapping function。 例如，如果节点是图片，则可以采用CNN作为mapping function。HNE的目标是保存节点间的pairwise连接。因此extractor挖掘节点对之间的边信息，其实就是邻接矩阵A。因此reconstructor的目标就是从节点embedding中还原出邻接矩阵A。给定节点对$(v_i,v_j)$，embedding domain中为$u_i,u_j$,重构出邻接元素${\hat{A}}_{i,j}=1$的概率为：

$p({\hat{A}}_{i,j}=1)=\sigma (u_i^T{u}_j),$
$\sigma$为sigmoid。$p({\hat{A}}_{i,j}=0)=1-\sigma (u_i^T{u}_j),$
objective定义如下：$-{\sum }_{i,j=1}^N(A_{i,j}p({\hat{A}}_{i,j}=1)+(1-A_{i,j})p({\hat{A}}_{i,j}=0)).$

在异质图中的节点与边之间存在着不同的语义信息，metapath2vec同时关注节点间的结构信息以及语义信息，它的mapping function与deepwalk一致。

1、基于meta-path的信息extractor
需要同时挖掘结构以及语义信息，extractor为meta-based random walk来挖掘出共现信息。

（1）meta-path schema定义
$A_1\stackrel{R_1}{⟶}{A}_2\stackrel{R_2}{⟶}...\stackrel{R_l}{⟶}{A}_{l+1}$,$A_i$和$R_i$是属于特定种类的节点和边。meta-path schema的实例是一条meta path，路径上的节点和边遵从schema给定的类型。

（2）meta-path random walk定义

2、基于meta-path的信息reconstructor
具有两种reconstructor一种是deepwalk，另外一种是对于每种不同种类的节点定义不同的分布。给定$v_i$,observing$v_j$的概率如下：
二、二部图嵌入
二部图中存在两个不相交的节点集合，边只存在两个集合之间。一个二部图嵌入的方法BiNE被提出用于同时挖掘两个节点集合之间的关系以及每个节点集合内部的关系（就是说需要挖掘的关系为边以及每个集合内部节点间的共现关系）。

1、information extractor
为了挖掘两个node集合内部的共现关系，两个同质图（with $U$和$V$）被引入，如果在原来的图中两个节点是2-hop neighbor，它们就会在induced graph中连接，定义两个induced graph为$G_U,G_V$,在$G_U,G_V$中利用deep walk来进行节点共现关系挖掘。最后挖掘出来的信息包括边信息（邻接矩阵）以及上面挖掘出的共现关系。

2、reconstructor and objective
还原两个节点集合内部的节点共现性方法和deep walk的一致，它们的objective被定义为$L_U,L_V$,还原两节点间的边信息定义如下：

$p(u_i,v_j)=\sigma (u_i^T{v}_j)$,objective为:$L_E=-{\sum }_{(u_i,v_j)\in E}logp(u_i,v_j)$,final objective为：$L=L_E+{\eta }_1{L}_U+{\eta }_2{L}_V.$

三、多维图嵌入
在多维图中，所有维度共享相同的节点，但是每个维度都有自己的图结构。对于每个节点，多维图嵌入的目标是:学习general node representation（从所有维度中挖掘信息）、一个维度的specific representation（只关注相关维度）。实际上，general representation与specific representation并不是独立的。因此建模他们的dependence很重要。对于每个维度d,对于节点$v_i$的dimension-specific representation $u_{d,i}$为：

$u_{d,i}=u_i+r_{d,i}$其中$u_i$代表了general representation，而$r_{d,i}$代表dimension d representation（不考虑independence）。

1、the mapping function
general representation mapping function：$f()$
dimension-specific d representation mapping function: $f_d()$

$u_i=f(v_i)=e_i^{T}W,$$r_{d,i}=f_d(v_i)=e_i^T{W}_d.$

2、information extractor
所有维度的共现关系挖掘($I_d为维度d上挖掘出的共现关系$)

$I={\cup }_{d=1}^D{I}_d.$

3、the reconstructor and objective
reconstructor除了需要对每个维度来重构挖掘信息以外，都和deep walk一致。objective如下：

四、有符号图嵌入
有符号图中包括正边以及负边。根据结构平衡理论，节点和与通过正边连接的节点更相近（friends），与通过负边连接的节点更远（foes）。方法SiNE保存的信息包括friends与foes之间的相关关系。SiNE中的mapping function与deep walk的一致。

1、information extractor

2、reconstructor
econstructor希望还原出三元组。因此基于node embedding，我们有以下：

2、the objective

五、超图嵌入
在超图中，一条超边关联了多个节点。DHNE被提出来学习超图上的节点表征（通过使用超边上的关系）。在超边上有两种信息需要进行学习：一种是超边信息，另一种是超边的节点上的共现关系。

1、information extractor

所以extractor挖掘出来的信息包括超边集合$E$,以及global共现信息$A$。

2、the mapping function

3、reconstructor and objective
reconstructor一方面希望还原超边信息$E$，另一方面则是希望还原超边上节点的共现信息，因此reconstructor和objective也包括两个部分:

（1）还原超边信息

$R^i$表示了节点集合中是否真的存在这样一条超边，值为0 or 1.

（2）还原global co-occurrence information


（3）总体objective
$\eta$为超参数。

六、动态图嵌入
在动态图中边和节点都和时间戳相关联。因此在动态图中捕捉temporal信息至关重要。动态图的图嵌入的mapping function，reconstructor，objective都和deep walk一致，下面只对它的extractor进行介绍。

1、information extractor
temporal neighbors定义：

temporal random walk定义：
别的随机游走都是产生固定的路径长度，但是temporal random walk会预定长度T以及window size w。