gensim-word2vec相似词匹配

最新推荐文章于 2025-05-30 21:47:59 发布

原创

最新推荐文章于 2025-05-30 21:47:59 发布 · 1.2k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#word2vec #人工智能 #nlp #gensim

该博客介绍了如何从维基百科数据中下载和解析文本，将繁体文本转换为简体，进行分词处理并去除停用词。使用Gensim的Word2Vec模型进行训练，并提供了演示如何使用训练好的模型进行相似词搜索、余弦相似度计算和类比推理。整个流程涵盖了自然语言处理中的多个关键技术步骤。

1、下载wiki百科数据

维基百科-资料库下载
pages-articles.xml.bz2 为结尾的文件
在这里插入图片描述

2、解析wiki百科文本数据

python3 wiki_to_txt.py zhwiki-20220201-pages-articles.xml.bz2

import logging
import sys

from gensim.corpora import WikiCorpus

def main():
    if len(sys.argv) != 2:
        print("Usage: python3 " + sys.argv[0] + " wiki_data_path")
        exit()

    logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)
    wiki_corpus = WikiCorpus(sys.argv[1], dictionary={
   
   })
    texts_num = 0

    with open("wiki_texts.txt", 'w', encoding='utf-8') as output:
        for text in wiki_corpus