4、图节点属性网络嵌入与GCN视角下的再探索

图节点属性网络嵌入与GCN视角下的再探索

1. 含节点属性图的网络嵌入

在网络嵌入领域，DeepWalk首次将Skip - Gram这一广泛使用的分布式词表示方法引入社交网络研究，用于结合网络结构学习顶点表示。它相当于对矩阵(M)进行分解，其中(M_{ij} = \log([e_i(A + A^2 + \cdots + A^t)]_j / t))。当(t)增大时，精确计算(M)的复杂度为(O(|V|^3))，因此DeepWalk采用基于随机游走的采样方法来避免精确计算(M)。不过，采样更多的游走路径虽会提升性能，但效率会降低。

TADW在速度和准确性之间找到了平衡，它对矩阵(M=(A + A^2)/2)进行分解。之所以选择分解(M)而非(\log M)，是因为(\log M)的非零元素比(M)多很多，而基于平方损失的矩阵分解复杂度与矩阵(M)的非零元素数量成正比。由于大多数真实世界网络是稀疏的，即(O(E) = O(V))，计算矩阵(M)的时间复杂度为(O(|V|^2))。若网络是密集的，甚至可以直接分解矩阵(A)。TADW的任务是求解矩阵(W \in R^{k\times|V|})和(H \in R^{k\times f_t})，以最小化以下目标函数：
[
\min_{W,H} |M - W^T H^T|_F^2 + \frac{\lambda}{2} (|W|_F^2 + |H|_F^2)
]

为了优化(W)和(H)，由于该函数对于(W)或(H)都是凸函数，所以交替最小化(W)和(H)。尽管算法可能收敛到局部最小值而非全局最小值，但实验表明TADW在实际应用中效果良好。

与专注于完成矩阵(M)的低秩矩阵分解和归纳矩阵补全不同，