19、文本与图嵌入：Word2Vec与图嵌入的神经网络架构解析

文本与图嵌入：Word2Vec与图嵌入的神经网络架构解析

1. Word2Vec中的负采样跳字模型（SGNS）

在自然语言处理中，词嵌入是将单词转换为向量表示的重要技术，Word2Vec是其中一种广泛使用的方法。SGNS是Word2Vec中的一种改进模型，它通过负采样来优化跳字模型。

1.1 SGNS的目标函数

SGNS模型使用修改后的目标函数来更新权重矩阵 $U$ 和 $V$。对于每个上下文窗口，目标函数是通过对正样本和负样本的逻辑损失求和得到的。

设 $\mathcal{P}$ 为正样本对集合，$\mathcal{N}$ 为负样本对集合，目标函数 $O$ 定义如下：
[
\begin{align }
O &= - \sum_{(i,j) \in \mathcal{P}} \log(P[\text{Predict}(i,j) \to 1]) - \sum_{(i,j) \in \mathcal{N}} \log(P[\text{Predict}(i,j) \to 0]) \
&= - \sum_{(i,j) \in \mathcal{P}} \log\left(\frac{1}{1 + \exp(-\tilde{u} i \cdot \tilde{v}_j)}\right) - \sum {(i,j) \in \mathcal{N}} \log\left(\frac{1}{1 + \exp(\tilde{u}_i \cdot \tilde{v}_j)}\right)
\end{align }
]

其中，$\tilde