22、基于全局共现统计的词向量生成方法

基于全局共现统计的词向量生成方法

1. 全局共现统计词向量概述

在自然语言处理中，全局共现方法是一种重要的词向量生成手段。该方法通过收集整个语料库中每个窗口内单词的全局共现计数，从而推导出有意义的词向量。本文将介绍两种基于全局共现统计的词向量生成方法：基于奇异值分解（SVD）的矩阵分解方法和GloVe技术。

2. 基于SVD的词向量生成

2.1 共现矩阵的构建

首先，我们考虑一个简单的语料库：

I like Machine Learning
I like TensorFlow
I prefer Python

在窗口大小为1的情况下，我们收集每个单词组合的全局共现计数，构建共现矩阵。在处理过程中，我们假设当两个单词 $w_1$ 和 $w_2$ 同时出现时，它们对概率 $P(w_1/w_2)$ 和 $P(w_2/w_1)$ 都有贡献，因此将计数桶 $c(w_1/w_2)$ 和 $c(w_2/w_1)$ 都加1。

此外，对于窗口大小为 $K$ 的情况，我们可以定义一个差分加权方案，为距离上下文较近的共现单词赋予更多权重，而随着距离增加则进行惩罚。例如，共现计数器可以按 $\frac{1}{k}$ 增加，其中 $k$ 是单词与上下文之间的偏移量。

2.2 SVD方法的假设

在SVD方法中，假设单词 $w_i$ 和上下文 $w_j$ 之间的全局共现计数 $c(w_i/w_j)$ 可以表示为单词 $w_i$ 和上下文 $w_j$ 的词向量嵌入的点积。通常考虑两组词嵌入，一组用于