使用Genism进行词向量训练:实践版

最新推荐文章于 2025-06-27 10:25:00 发布

空城_招Python数据处理

最新推荐文章于 2025-06-27 10:25:00 发布

阅读量5.3k

点赞数

CC 4.0 BY-SA版权

分类专栏： Deep Learning in NLP 文章标签： NLP wordnetwork word network visualization

本文链接：https://blog.youkuaiyun.com/huozi07/article/details/51393934

本文介绍了如何使用Genism进行词向量训练的实践过程，包括语料库的准备，代码实现以及结果展示。每个节点代表一个单词，边的长度表示单词之间的欧氏距离，节点颜色表示节点聚类，节点大小表示度分布，揭示了词网络的结构特点。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

使用Genism进行词向量训练:实践版

1.语料库准备

输入为一行行正常的语句

2.Code

#!/usr/bin/python
# -*- coding: utf-8 -*-
import gensim.models
import time
import pandas as pd
from nltk.tokenize import TweetTokenizer
time1 = time.time()
import logging
import numpy as np
logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)
def loaddata(inputfile):
    file = open(inputfile)
    tknzr = TweetTokenizer()
    sentences=[]
    while 1:
        line = file.readline().strip()
        if not line:
              break
        sentences.append(tknzr.tokenize(line))
    return sentences

def WordFrequencyAnalysi():
    #load data
    # sentences = [['first', 'sentence'], ['second', 'sentence']]
    sentences = gensim.models.word2vec.LineSentence(