CBOW多预测少
Skip-Gram少预测多
NCE技术,在计算loss和反向传播的时候只考虑部分的负样本, 节约计算量
在CBOW,我们的X数据每行有前后N个词语,Y中只有1个词; 而在Skip-Gram,X数据只有1个词,Y也只有1个词。
skip-gram里面,每个词在作为中心词的时候,实际上是 1个学生 VS K个老师,K个老师(周围词)都会对学生(中心词)进行“专业”的训练
cbow是 1个老师 VS K个学生,K个学生(周围词)都会从老师(中心词)那里学习知识,但是老师(中心词)是一视同仁的,教给大家的一样的知识
cbow和skip-gram都是在word2vec中用于将文本进行向量表示
句向量