【论文阅读】《GloVe: Global Vectors forWord Representation》

GloVe model

单词表示模型：GloVe，用于全局向量，全局语料的统计信息直接由模型获得。

符号

$X$：词共现矩阵
$X_{ij}$：单词$j$出现在单词$i$的上下文中的次数。
$X_i={\sum }_k{X}_{ik}$：所有出现在单词$i$的上下文中的单词次数。
$P_{ij}=p(j|i)=\frac{X_{ij}}{X_i}$ ：单词$j$出现在单词$i$的上下文中的概率。

举例：

通过观察图中的比率（第三行）可以看出，当结果大于1时，单词$k$与ice更相关，当结果小于1时，单词$k$与steam更相关。

上述论点表明，单词矢量学习的适当起点应该是共现概率的比率而不是概率本身。其中，比率$P_{ik}/P_{jk}$取决于单词$i$、$j$、$k$，我们采用最通用的模型形式：

$$F(w_i,w_j,{\tilde{w}}_k)=P_j$$