word2vec 番外篇 1—— Skip-Gram 方法介绍

1. 一些定义

功能：

输入一个词，然后试着估计 其他词 出现在 该词附近 的概率。

gram 含义：

是一个有 n 个单词的组 (group)，其中 n 是 gram 的窗口大小 (window size)。

例如：「The cat sat on the mat」这句话用 3 个 gram 表示的话，是「The cat sat」、「cat sat on」、「sat on the」、「on the mat」。

skip 含义：

指一个输入词 在不同的上下文词 的情况下，在数据集中 重复的次数。

 

2. 预期功能

框架名称：

Word2Vec 上下文预测系统

预期测试结果：

输入：词「cat」

输出：预测的上下文(「the」，「sat」)

 

3.  训练过程

输入：

gram 

过程：

Word2Vec 系统将遍历所有 给出的 gram 和 输入的单词，并尝试学习适当的 映射向量(嵌入)

 

4. 测试过程

输入：

给定输入单词，例如 词「cat」

输出：

预测的上下