CBOW and Skip-gram

CBOW and Skip-gram

论文核心：

传统的学习密集向量的模型的计算效率低下，这篇文章提出了Word2Vec的两种训练模型，CBOW（Continuous Bag-of-Words Model） 和 Skip-gram，来以较高的计算效率从大规模数据集中计算词语的连续向量表示。

CBOW

1. 组成：Input层、Projection层、Outout层。
2. 特点：输入是某一个特征词的上下文相关的词对应的词向量，而输出就是这特定的一个词的词向量。即计算的是一种先验概率（在上下文词出现的情况下去预测特定要求的词）。

Skip-gram

1. 组成：Input层、Projection层、Outout层。
2. 特点：和CBOW相反，输入是特定的一个词的词向量，而输出是特定词对应的上下文词向量，即一种后验概率（已知道特定词去求上下文词）