唐|01python数据分析与机器学习|26使用Gensim库构造中文维基百科数据词向量模型

gensim的使用

from gensim.models import word2vec         #掉包

 sentences = [s.split() for s in raw_sentences]                     #分词

model = word2vec.Word2Vec(sentences,min_count=1)       #引包

min_count=1：
在不同大小的语料集中，我们对于基准词频的需求也是不一样的。比如在较大的语料集中，希望忽略只出现过一两次的单词，可以通过设置min_count参数进行控制。一般而言，合理的参数值会设置在0-100之间。
Size：
size参数用来设置神经网络的层数，Word2Vec中默认值是设置为100层，更大的层数意味着更多的输入数据，不过也能提升整体的准确度，合理的范围为10—数百

中文数据源–维基百科

.xml-text(process提取)
①繁体-简体（opencc）
②分词(jieba)
③建模（word2vec）
④测试模型（找出和已经知道词相近的词）