【计算语言学实验】基于 Skip-Gram with Negative Sampling (SGNS) 的汉语词向量学习和评估...

最新推荐文章于 2025-12-22 13:59:14 发布

原创

最新推荐文章于 2025-12-22 13:59:14 发布 · 915 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#字符串 #python #深度学习 #大数据 #机器学习

本文介绍从维基媒体语料库提取、预处理数据，使用word2vec训练词向量的过程，包括数据下载、提取、转换、分词、模型训练及词相似度计算。

一、概述

训练语料来源：维基媒体 https://dumps.wikimedia.org/backup-index.html 汉语数据

用word2vec训练词向量，并用所学得的词向量，计算 pku_sim_test.txt 文件中每行两个词间的余弦距离作为两词相似度，并输出到文件中。

二、数据准备及预处理

语料库的下载地址：https://dumps.wikimedia.org/zhwiki/20191120/zhwiki-20191120-pages-articles-multistream.xml.bz2

语料库文章的提取：

下载完成之后，解压缩得到的是一个xml文件，里面包含了许多的文章，也有许多的日志信息。此实验只需要提取xml文件里面的文章就可以了。
可以通过工具WikiExtractor来提取xml文件中的文章。先将整个WikiExtractor项目clone或者下载到本地，通过命令行窗口来运行，命令如下：(每个文件分割的大小为500M)

> git init
> git clone https://github.com/attardi/wikiextractor
> python .\wikiextractor\WikiExtractor.py -b 500M -o zhwiki zhwiki-20190401-pages-articles-multistream.xml.bz2

使用WikiExtractor提取文章，会在指定目录下产生一个AA的文件夹，里面会包含几个文件。