引言
Word2Vec是google提出的一个学习word vecor(也叫word embedding)的框架。
它主要提出了两个模型结构CBOW和Skip-gram,这两个模型都属于Log Linear模型,结构如下所示:
CBOW对小型数据比较合适,而Skip-gram在大型语料中表现得更好。
CBOW模型
CBOW main idea:Predict center word from (bag of) context words.
cbow全称为continues bag of words,之所以称为continues是因为学习出来的word vector是连续的分布式表示的,而又称它是一个bag of words模型是因为在训练时,历史信息的词语顺序不影响Projection,因为之后不是将各个词concate,而是sum,而且这样也大大较少了计算量!
CBOW的详细结构如下:
![]()
输入是one-hot向量表示的词,之后Projection成N维的低维稠密向