21、图嵌入的简单神经网络架构与机器学习模型解析

图嵌入的简单神经网络架构与机器学习模型解析

1. 图嵌入的简单神经网络架构

在图嵌入领域，有一种简单的神经网络架构用于学习节点特征。以一个包含 5 个节点的图为例，其神经网络架构用于将行索引映射到邻居指示符。输入是矩阵 B 中某一行（即节点）的独热编码索引，输出是网络中所有节点的 0/1 值列表。例如，对于节点 3，由于它有三个邻居，输出向量中会包含三个 1。

这个架构与其他类似架构的主要区别在于，它在输出层使用了 sigmoid 激活函数（而非线性激活函数）。并且，由于输出中 0 的数量通常远多于 1 的数量，使用负采样可以丢弃许多 0 值，这会创造出类似于另一种情况的场景。使用这种神经网络架构时，梯度下降步骤与 word2vec 的 SGNS 模型相同。不过，节点作为其他节点的邻居最多出现一次，而单词在另一个单词的上下文中可能出现多次。若允许边有任意计数，则可消除这种区别。

下面是该架构的一些特点总结：
- 输入输出 ：输入为节点的独热编码，输出为所有节点的 0/1 值列表。
- 激活函数 ：输出层使用 sigmoid 激活函数。
- 负采样 ：可丢弃大量 0 值，与 SGNS 模型梯度下降步骤相同。

2. 处理任意边计数

前面的讨论假设每条边的权重是二进制的。当边 $(i, j)$ 关联有任意计数 $c_{ij}$ 时，需要同时进行正采样和负采样。具体步骤如下：
1. 从网络中按与 $c_{ij}$ 成比例的概率采样一条边 $(i, j)$。
2. 输入是这条边一端节点