使用gensim+jieba生成Word Embeddings

gensim+jieba实现Word Embeddings

最新推荐文章于 2024-06-13 18:38:02 发布

原创

最新推荐文章于 2024-06-13 18:38:02 发布 · 1.7k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#Word2Vec #gensim #jieba #词向量 #Word Embeddings

本文介绍如何结合gensim和jieba库在自然语言处理中生成Word Embeddings，探讨Word2Vec的使用及其在gensim中的实现。

在自然语言处理中，使用Word2Vec来生成Word Embeddings是非常常用的一种做法，而gensim这个库提供了生成W2V的接口。

import os
import jieba
from gensim.models import Word2Vec

# 迭代器，使用jieba将句子进行分词
class Sentences(object):# 这个类可以根据实际情况重写，我已经将所有的文章进行分句，并整合到了一个文件里面
    def __init__(self, dirname):
        self.dirname = dirname # 句子所在文件，没句句子占一行
        jieba.load_userdict("wordBase.txt") # 加载词库