gensim

训练预料的预处理

训练语料的预处理指的是将文档中原始的字符文本转换成Gensim模型所能理解的稀疏向量的过程。

通常，我们要处理的原生语料是一堆文档的集合，每一篇文档又是一些原生字符的集合。在交给Gensim的模型训练之前，我们需要将这些原生字符解析成Gensim能处理的稀疏向量的格式。我们需要先对原始的文本进行分词、去除停用词等操作，得到每一篇文档的特征列表。content_clean就是若干个被拆成单词集合的文档的集合，而dictionary就是把所有单词取一个set(),并对set中每个单词分配一个Id号的map;

dictionary+corpora.Dictionary(contents_clean):将语料库contents_clearn中出现的单词编号，将id,word映射存放dictionary中

dictionary.doc2bow(contents_clean)是把文档contents_clean变成一个稀疏向量(这里是bow向量)，doc2bow()简单的对每个不同的单词出现的次数进行了计数，将词汇转换成为dictionary中的编号。然后以稀疏向量的形式返回结果。