qq_41973062的博客

转载：https://blog.youkuaiyun.com/linchuhai/article/details/97135612感谢作者 1. 引言 当前，学习词向量表示的方法主要有两种类型：一种是基于全局矩阵分解的方法，如LSA，另一种是局部上下文窗口的方法，如Mikolov在2013年提出来的CBOW和skip-gram方法。但是这两种方法都有各自的缺陷，其中，LSA虽然有效利用了统计信息，但是在词汇类比方面却很差，而CBOW和skip-gram虽然可以很好地进行词汇类比，但是因为这两种方法是基于一个个局部的上

参考：https://www.zhihu.com/question/44832436/answer/266068967https://zhuanlan.zhihu.com/p/26306795感谢两位作者。 Word2Vec包含了两种词训练模型：CBOW模型和Skip-gram模型。 CBOW模型根据中心词W(t)周围的词来预测中心词 Skip-gram模型则根据中心词W(t)来预测周围词 模型计算word2vec的流程：以CBOW模型的流程为例 输入层：上下文单词的onehot...