使用gensim实现word2vec，再使用t-SNE压缩可视化

最新推荐文章于 2024-10-22 23:16:46 发布

原创

最新推荐文章于 2024-10-22 23:16:46 发布 · 962 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#genism #word2vec #t-SNE #可视化 #python

本文介绍了如何使用Gensim的Word2Vec进行中文文本的向量化，并展示了模型训练、保存与加载，以及相似度分析和t-SNE可视化的过程。

使用gensim的word2vec做的一点小实验……
1.首先对文本进行word2vec
网上语料库很多，可以随便找一找

import gensim,logging
import gensim, logging
import os
logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)
class MySentences(object):
    def __init__(self, dirname):
        self.dirname = dirname
 
    def __iter__(self):
        for fname in os.listdir(self.dirname):
            for line in open(os.path.join(self.dirname,fname),encoding='gbk'): #我要读取的都是中文，使用gkb好一些
                yield line