自然语言处理自学笔记-02 Word2vec——基于神经网络学习单词表示

Word2vec

Word2vec通过查看单词上下文并以数字方式表示它，来学习给定单词的含义。“上下文”指目标单词前面和后面的固定数量的单词。比如包含$w_0,w_1,...,w_i,...,w_n$的$n$个单词的语料库。在给定单词$w_i$之后，可以预测上下文单词。这意味着对于任何给定的单词$w_i$，以下的概率较高：
$$P({\omega }_{i-m},{\omega }_{i-1},{\omega }_{i+1},...,{\omega }_{i+m}|{\omega }_i)=\prod _{j\ne i\Lambda j=i-m}^{i+m}P({\omega }_j|{\omega }_i)$$

定义损失函数

在现实世界，词汇量会轻易超过10000个单词。因此需要机器学习算法自动找到好的词嵌入。这样任务就变成了让损失最小化。为神经网络定义成本函数如下：
$$J(\theta )=-(1/N-2m)\sum _{i=m+1}^{N-m}\prod _{j\ne i\Lambda j=i-m}^{i+m}P({\omega }_j|{\omega }_i)$$
我们想要是$P(w_j|w_i)$最大化，需要在上式前面加一个负号将其转化为损失函数。
将上式转化为对数空间，可得：
$$J(\theta )=-(1/N-2m)\sum _{i=m+1}^{N-m}\prod _{j\ne i\Lambda j=i-m}^{i+m}logP({\omega }_j|{\omega }_i)$$
上式被称为“负对数似然”。

skip-gram算法

从原始文本到结构化数据

可以送入学习模型的数据集，应是格式为(输入，输出)的一组元祖。而且需要以无监督的方式创建。数据准备过程需要执行以下操作：

• 获得给定的单词的周围单词
• 以无监督的方式执行

skip-gram的创建方式为：
1.对于给定的单词$w_i$，假设上下文窗口大小为m。对于$w_i$，上下文窗口的大小为2m+1，即$[w_{i-m},...,w_{i-1},w_i,w_{i+1},...,w_{i+m}]$。
2.输入输出元祖的格式为 [ . . . ,