5、图嵌入方法：从邻域重建到多关系数据处理

图嵌入方法：从邻域重建到多关系数据处理

1. 邻域重建方法

1.1 大规模信息网络嵌入（LINE）

除了DeepWalk和node2vec之外，LINE算法在随机游走方法的背景下也常被讨论。虽然LINE方法没有明确使用随机游走，但它与DeepWalk和node2vec有着相似的概念动机。

LINE的基本思想是结合两个编码器 - 解码器目标：
- 第一个目标是编码一阶邻接信息，使用如下解码器：
$$dec(z_u, z_v) = \frac{1}{1 + e^{-z_u^T z_v}}$$
采用基于邻接的相似性度量（即$S[u, v] = A[u, v]$）。
- 第二个目标更类似于随机游走方法，使用与方程（3.10）相同的解码器，但通过KL散度进行训练以编码两跳邻接信息（即$A^2$中的信息）。

因此，LINE在概念上与node2vec和DeepWalk相关，它使用概率解码器和基于KL散度的概率损失函数，不过它是直接重建一阶和二阶邻域信息，而非采样随机游走。

1.2 随机游走思想的其他变体

随机游走方法的一个优点是可以通过对随机游走进行偏置或修改来扩展和改进。例如：
- Perozzi等人考虑跳过节点的随机游走，生成类似于GraRep的相似性度量。
- Ribeiro等人基于节点之间的结构关系定义随机游走，生成能够编码图中结构角色的节点嵌入。

1.3 随机游走方法与矩阵分解

可以证明，随机游走方法实际上与矩阵分解方法密切相关。假设我们定义如下节点 - 节点相似性值矩阵：
$$S_{DW} = \log