理解Word2vec

理解Word2vec

一,词向量

首先需要理解词向量。

比如有一个城市的词汇表（北京，上海，宁夏，纽约，巴黎，，，，，南京）One-Hot Encoder按照如下方式：

杭州 [0,0,0,0,0,0,0,1,0,……，0,0,0,0,0,0,0]

上海 [0,0,0,0,1,0,0,0,0,……，0,0,0,0,0,0,0]

宁波 [0,0,0,1,0,0,0,0,0,……，0,0,0,0,0,0,0]

北京 [1,0,0,0,0,0,0,0,0,……，0,0,0,0,0,0,0]

 

但是使用One-Hot Encoder有以下问题。一方面，城市编码是随机的，向量之间相互独立，看不出城市之间可能存在的关联关系。其次，向量维度的大小取决于语料库中字词的多少。如果将世界所有城市名称对应的向量合为一个矩阵的话，那这个矩阵过于稀疏，并且会造成维度灾难。