在window下使用gemsim.models.word2vec.LineSentence加载语料库文件的格式要求

火星种萝卜

于 2020-08-22 16:11:08 发布

阅读量663

点赞数

分类专栏： gensim NLP

原文链接：https://www.cnblogs.com/jiangxinyang/p/10411595.html

版权

NLP 同时被 2 个专栏收录

247 篇文章

订阅专栏

gensim

3 篇文章

订阅专栏

本文介绍在Windows环境下，使用Gensim的word2vec模块加载语料库的正确方式。LineSentence类用于处理已预处理并以空格分隔的文本数据，适用于中文和英文文章。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在window下使用gemsim.models.word2vec.LineSentence加载语料库文件的格式要求

class LineSentence(object):
    """Iterate over a file that contains sentences: one line = one sentence.
    Words must be already preprocessed and separated by whitespace.

一行为一句话并且每个单词之间都用空格隔开

https://www.cnblogs.com/jiangxinyang/p/10411595.html

中文的或者英文的文章都可以，一般要经过预处理才能使用，将文本语料进行分词，以空格,tab隔开都可以。

https://www.jianshu.com/p/7afe87552c62