word2vec_训练模型

最新推荐文章于 2022-12-15 10:14:51 发布

转载最新推荐文章于 2022-12-15 10:14:51 发布 · 403 阅读

1 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/hapyygril/p/9981774.html

文章标签：

#matlab

本文介绍了一种利用Word2Vec模型将文本转化为向量的方法，通过处理微博内容数据集，设置模型参数如skip-gram、向量维度、窗口大小等，最终保存了训练好的词向量模型。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

from gensim.models import Word2Vec
from gensim.models.word2vec import LineSentence


# 原始的训练语料转化成一个sentence的迭代器,每一次迭代返回的sentence是一个word（utf8格式）的列表
def vctor_word():
    # wiki_news = open('wiki.zh.jian.seg.txt', 'r',encoding='utf-8')
    wiki_news = open('weibo_content.txt', 'r', encoding='utf-8')
    sentences=LineSentence(wiki_news)
    model=Word2Vec(sentences,sg=0,size=100,window=5,min_count=5,workers=9)
    model.save('zhiwiki_news.word2vec')
vctor_word()

转载于:https://www.cnblogs.com/hapyygril/p/9981774.html