LDA主题词提取完整实战代码详细代码数据

最新推荐文章于 2024-03-31 17:27:19 发布

程序员奇奇

最新推荐文章于 2024-03-31 17:27:19 发布

阅读量895

点赞数 6

文章标签： LDA主题词主题提取

本文链接：https://blog.youkuaiyun.com/pythonyanyan/article/details/136940067

版权

本文介绍了如何使用Python库gensim处理文本数据，包括分词、构建词袋模型、并训练LDA模型来识别主题。具体步骤涉及读取CSV文件、处理文本、创建词典和生成主题词列表。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import pandas as pd
from gensim.models import LdaModel
from gensim.corpora import Dictionary
from wordcloud import WordCloud
import matplotlib
import matplotlib.pyplot as plt
matplotlib.rcParams['font.sans-serif'] = ['SimHei']
matplotlib.rcParams['axes.unicode_minus'] = False
# 读取CSV文件


import jieba
from gensim import corpora, models
import re

# 读取文本数据
csv_file_path = '合并.csv'
df = pd.read_csv(csv_file_path)

# 将文本数据转换为列表
text_data = df['登革热是蚊子传播的，这个和新冠没关系吧？'].tolist()
print(text_data)
# 分词处理
texts = [[word for word in jieba.cut(document)] for document in text_data]
textss=[]
for line in texts:
    temp=[]
    for w  in line:
        if len(str(w))>2:
            temp.append(w)
    if len(temp)>2:
        textss.append(temp)
# print(texts)
# 创建词袋模型
dictionary = corpora.Dictionary(textss)

# 转换文档为词袋表示
corpus = [dictionary.doc2bow(text) for text in texts]

# 训练LDA模型
lda_model = LdaModel(corpus, id2word=dictionary, num_topics=10)

# 打印主题词
topics = lda_model.print_topics(num_words=5)
for topic in topics:
    print(topic)