[python] LDA处理文档主题分布及分词、词频、tfidf计算

最新推荐文章于 2024-06-04 16:21:44 发布
最新推荐文章于 2024-06-04 16:21:44 发布
阅读量3.2k 收藏 47
点赞数 3
CC 4.0 BY-SA版权
文章标签： 人工智能 python 数据结构与算法
原文链接：https://yq.aliyun.com/articles/26028
本文介绍了使用Python进行LDA主题模型处理文档的方法，包括输入输出、核心代码实现，以及如何进行TF-IDF和词频TF计算。还提供了百度互动主题分布的案例分析。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

        这篇文章主要是讲述如何通过LDA处理文本内容TXT，并计算其文档主题分布，主要是核心代码为主。其中LDA入门知识介绍参考这篇文章，包括安装及用法：
        [python] LDA处理文档主题分布代码入门笔记

        1.输入输出

        输入是test.txt文件，它是使用Jieba分词之后的文本内容，通常每行代表一篇文档。
        该文本内容原自博客：文本分析之TFIDF/LDA/Word2vec实践 ，推荐大家去阅读。
 
新春 备 年货 ， 新年 联欢晚会
新春 节目单 ， 春节 联欢晚会 红火
大盘 下跌 股市 散户
下跌 股市 赚钱
金猴 新春 红火 新年
新车 新年 年货 新春
股市 反弹 下跌
股市 散户 赚钱
新年 , 看 春节 联欢晚会
大盘 下跌 散户
        输出则是这十篇文档的主题分布，Shape(10L, 2L)表示10篇文档，2个主题。
        具体结果如下所示：
 
shape: (10L, 2L)
doc: 0 topic: 0
doc: 1 topic: 0
doc: 2 topic: 1
doc: 3 topic: 1
doc: 4 topic: 0
doc: 5 topic: 0
doc: 6 topic: 1
doc: 7 topic: 1
doc: 8 topic: 0
doc: 9 topic: 1
        同时调用 matplotlib.pyplot 输出了对应的文档主题分布图，可以看到主题Doc0、Doc1、Doc8分布于Topic0，它们主要描述主题新春；而Doc2、Doc3、Doc9分布于Topic1，主要描述股市。

        其过程中也会输出描述LDA运行的信息，如下图所示：

        2.核心代码

       &nbs

最低0.47元/天 解锁文章

200万优质内容无限畅学
[Python从零到壹] 十六.文本挖掘之词云热点与LDA主题分布分析万字详解
杨秀璋的专栏
08-10 1万+
前一篇文章讲述了数据预处理、Jieba分词和文本聚类知识，这篇文章可以说是文本挖掘和自然语言处理的入门文章。本文将详细讲解文本挖掘领域的词云热点分析和LDA主题分布分析。两万字基础文章，希望对您有所帮助。欢迎大家来到“Python从零到壹”，在这里我将分享约200篇Python系列文章，带大家一起去学习和玩耍，看看Python这个有趣的世界。所有文章都将结合案例、代码和作者的经验讲解，真心想把自己近十年的编程经验分享给大家。
Python之LDA主题模型算法应用
拓端研究室TRL
10-29 1475
将语料库（文档集）中的文档分配给基于单词矢量的潜在（隐藏）主题的主要思想是相当容易理解的，而这个例子（来自lda）将有助于巩固我们对LDA模型的理解。我们必须选择主题的数量（其他方法也可以尝试查找主题的数量，但对于LDA，我们必须假设一个数字）。从输出的大小我们可以看出，对于20个主题中的每一个，我们在词汇表中分配了4258个单词。查看输出的大小，我们可以看到395个文档中的每个文档都有20个主题的分布。最后，让我们看一下几个文档的主题分布。这些分布给出了每个文档的20个主题中每个主题的概率。
基于lDA模型的主题词抽取
10-31
以 LDA 模型表示文本词汇的概率分布，通过香农信息抽取体现主题的关键词。采用背景词汇聚类及主题词联想的方式将主题词 扩充到待分析文本之外，尝试挖掘文本的主题内涵。模型拟合基于快速 Gibbs 抽样算法进行。实验结果表明，快速 Gibbs 算法的速度约比 传统 Gibbs 算法高 5 倍，准确率和抽取效率均较高。
从文本中“看”出主题分布：LDA模型原理、应用和实践
WeLearnNLP
03-07 1万+
LDA（Latent Dirichlet Allocation）模型是一种基于概率图模型的文本主题分析方法。它最早由Blei等人在2003年提出，旨在通过对文本数据进行分析，自动发现其隐藏的主题结构。LDA模型的核心思想是将文本表示为一组概率分布，其中每个文档由多个主题混合而成，每个主题又由多个单词组成。LDA模型的基本原理是先假设一个文本集合的生成过程：首先，从主题分布中随机选择一个主题；然后，从该主题的单词分布中随机选择一个单词；重复上述过程，直到生成整个文本。
NLP： LDA主题模型
热门推荐
天狼啸月1990的博客
08-31 1万+
(1) 一个函数：gamma函数(2) 四个分布：二项分布、多项分布、beta分布、Dirichlet分布(3) 一个概念和一个理念：共轭先验、贝叶斯框架(4) 两个模型：pLSA和LDA(5) 一个采样：Gibbs采样。
python实现 LDA主题词模型
04-28
python 使用 gensim 进行LDA主题词分析，主题词频可视化。 LDA（Latent Dirichlet Allocation 文档主体生模型）是一种文档主体生成模型，也成为一个三层贝叶斯概率模型，包含词、主体、文档这三层结构。所谓生成模型，就是说，一篇文章的每个词都是通过以一定的概率选择了一个主题，并从这个主题中以一定的概率选择这个词语这个一个过程得到的。 LDA方法生成的文档可以包含多个主题，该模型使用下面的方法生成一个文档： Chooseparameter θ ～ p(θ); For each ofthe N words w_n: Choose a topic z_n ～ p(z|θ); Choose a word w_n ～ p(w|z); 其中θ是主题向量，向量的每一列表示每个主题在文档中出现的概率，该向量为非负的归一化向量；p(θ)是θ的分布，具体为Dirichiket分布，即分布的分布（这个没懂是啥意思啊，有空借本书看看，留个坑）；N和w_n同上；z_n表示选择的主题，p(z|θ)表示给定θ是主题z的概率分布，具体为θ的值，即p(z=
python-LDA主题分析
07-20
利用python对文本进行LDA主题生成模型，里面有使用方法说明，可以自己设置参数等。
python-LDA, lda算法的python实现
07-20
LDA算法的Python实现，请尊重原作者的劳动成果，记得引用。
python LDA实践入门学习
Together_CZ的博客
04-17 1万+
最近开始学习LDA，苦于没有一个浅显易懂的入门教程，索性自己来搜索了一下，还真的找到了一个不错的入门指南，在这里转载贴出来，如果需要的话也可以参考一下，欢迎交流！ 转自：[python] LDA处理文档主题分布代码入门笔记 以前只知道LDA是个好东西，但自己并没有真正去使用过。同时，关于它的文章也非常之多，推荐大家阅读书籍《LDA漫游指南》，最近自己在学习文档主题分布和实体对齐中也尝试使用LD
LDA主题模型-TFIDF
ixtgtg的专栏
01-21 3425
TFIDF是由两部分组成，一部分是TF(Token Frequency)，表示一个词在文档中出现的次数，即词频。另一部分是IDF(Inverse Document Frequency)，表示某个词出现在多少个文本中(或者解释为有多少个文本包含了这个词)，即逆向文档频率，通常由公式IDFt＝log((1+|D|)/|Dt|)，其中|D|表示文档总数，|Dt|表示包含关键词t的文档数量。
探索主题建模：使用LDA分析文本主题
kilig_CSM的博客
11-03 1万+
主题建模是一种用于从文本数据中提取主题或话题的技术。主题可以被视为文本数据的概括性描述，它们涵盖了文本中的关键概念。主题建模可以应用于各种领域，如文档分类、信息检索、推荐系统等。主题建模是文本挖掘领域的重要技术，可以自动发现文本数据中的主题。LDA是一种常用的主题建模方法，可以通过Python和Gensim库进行实现。通过文本预处理、模型训练和结果分析，可以有效地提取文本数据中的隐藏主题，用于各种应用。
LDA主题模型及Python实现
qq_36128101的博客
04-14 1万+
LDA(Latent Dirichlet Allocation)是一个三层贝叶斯概率模型，包括词、主题和文档三个层次。它可以将文档集中每篇文档的主题以概率分布的形式给出，从而通过分析一些文档抽取出它们的主题（分布）出来后，便可以根据主题（分布）进行主题聚类或文本分类。同时，它是一种典型的词袋模型，即一篇文档是由一组词构成，词与词之间没有先后顺序的关系。
基于某评论的TF-IDF下的LDA主题模型分析
m0_57265868的博客
06-04 1895
完整代码： 数据源： 代码逐行讲解： 读取同目录下的文件，df1是数据框格式提取评论内容，并对评论内容做清洗，采用正则表达式，去除标点和英文。用jieba对每一行的数据作分词处理，最后得到的数据展现以及数据类型。 总的来说，这段代码的目的是使用LDA模型来发现文档集合中的潜在主题。首先，它通过TF-IDF向量化器将文本数据转换为数值矩阵，然后使用这个矩阵来训练LDA模型，最后可以通过模型来分析文档的主题分布。打印出来的结果为： 这段代码是用于分析和可视化LDA（Latent Diri
Python数据分析案例14——文本计算TF-IDF值和LDA主题模型
weixin_46277779的博客
12-30 1万+
jieba库分词，TF-idf值计算，词向量化，LDA模型构建画出词云图
TF-IDF矩阵与LDA模型的参数
DL_Iris的博客
07-07 3644
文档预处理以及向量化中的要点： 删除出现少于20个文档的单词或在50％以上文档中出现的单词： from gensim.corpora import Dictionary dictionary = Dictionary(docs) dictionary.filter_extremes(no_below=20, no_above=0.5) 将文档转换为向量形式。只计算每个单词的频率，包括两个单词构成的词组。再看看处理后的词典大小和文档数。 # Bag-of-words representation o
主题模型(Topic Model)---LDA(Latent Dirichlet Allocation)理论+实战
weixin_44607838的博客
02-21 8186
主题模型 顾名思义，主题模型用来探寻文本背后所隐藏的主题，也可以理解为一种段落语义的挖掘。相比于TF-IDF只能从个体词汇层面给予我们文本内容的提示，主题模型能够从更宏观的角度帮助我们快速捕捉文本的核心语义。 LDA建模思路 LDA是一种比较流行的主题模型，由吴恩达等人在2003年首次提出。它可以将文档集中每篇文章的主题以概率分布的形式给出，比如，我们可以从结果找选出概率最大的5个主题作为该文档的主题描述。下面我们来快速理解一下LDA的基本建模思路。（因为LDA背后涉及大量的数学知识，如果大家想对数学细节做
LDA模型构建与可视化
weixin_55595295的博客
11-16 8044
隐含狄利克雷分布（Latent Dirichlet Allocation，LDA），是一种主题模型（topic model），典型的词袋模型，即它认为一篇文档是由一组词构成的一个集合，词与词之间没有顺序以及先后的关系。一篇文档可以包含多个主题，文档中每一个词都由其中的一个主题生成。它可以将文档集中每篇文档的主题按照概率分布的形式给出，对文章进行主题归纳，属于无监督学习。将介绍实现具体代码。
机器学习-LDA--景区评论分析 ipython
helloliping的博客
04-12 3405
本文的目标是找到景区的特色和亮点，对应的就是找它们的主题分布和每一个主题中词的分布。在LDA模型中，我们需要事先假定一个主题数目K，这样所有的分布后续就会基于K个主题展开。
LDA学习
zyy1640914299的博客
01-25 344
博客学习 Eclipse下JGibbLDA使用总结 IKAnalyzer2012进行分词处理 学习过程 IKAnalyzer中已学习到这一步，前面步骤中好多地方找不到对应位置，LDA学习中先用这个来进行分词处理，IKA是进行分词处理的机器。两篇博客很难，一步步的跟着（中间有跳的步骤）。 LDA学习进行到运行lda这一步，去进行分词处理了。 IKAnalyzer进行分词处理已初步创建好文件夹，new—file----文件名，即可创建。IKA学习到此位置，不懂创建txt后后续操作。 警示符号没有出来，不知道如何
LDA进行词频统计的时候TfidfVectorizer, CountVectorizer
最新发布
03-15
### 使用 TfidfVectorizer 和 CountVectorizer 进行 LDA 的方法及区别 #### 方法概述 LDA（Latent Dirichlet Allocation）是一种用于主题建模的技术，其输入通常是一个文档-词项矩阵。这个矩阵可以通过 `CountVectorizer` 或 `TfidfVectorizer` 来生成。 1. **CountVectorizer**: 它仅基于词频构建文档-词项矩阵，不考虑词的重要性或稀有性。对于 LDA 而言，这种方法更常见，因为 LDA 关注的是单词在整个语料库中的分布情况，而不是单个文档内的相对重要性[^2]。 2. **TfidfVectorizer**: 它不仅计算词频 (TF)，还会引入逆文档频率 (IDF) 加权机制，使得那些频繁出现在多个文档中的通用词汇权重降低，而特定于某些文档的低频词汇权重提高。然而，在 LDA 中使用 TF-IDF 可能会改变原始词频的比例关系，影响主题建模的效果[^4]。 #### 实现代码示例 以下是分别利用两种方式创建文档-词项矩阵并应用于 LDA 的 Python 示例： ```python from sklearn.feature_extraction.text import CountVectorizer, TfidfVectorizer from sklearn.decomposition import LatentDirichletAllocation as LDA # 数据集 df['cutword'] 是预处理后的分词文本列表 texts = [" ".join(doc.split()) for doc in df['cutword']] # 使用 CountVectorizer 构造文档-词项矩阵 count_vectorizer = CountVectorizer() X_count = count_vectorizer.fit_transform(texts) lda_model_count = LDA(n_components=5, random_state=42) topics_count = lda_model_count.fit_transform(X_count) # 输出前几个主题及其对应的词分布 def display_topics(model, feature_names, no_top_words): for topic_idx, topic in enumerate(model.components_): print(f"Topic {topic_idx}:") print(" ".join([feature_names[i] for i in topic.argsort()[:-no_top_words - 1:-1]])) display_topics(lda_model_count, count_vectorizer.get_feature_names_out(), 10) # 使用 TfidfVectorizer 构造文档-词项矩阵 tfidf_vectorizer = TfidfVectorizer() X_tfidf = tfidf_vectorizer.fit_transform(texts) lda_model_tfidf = LDA(n_components=5, random_state=42) topics_tfidf = lda_model_tfidf.fit_transform(X_tfidf) # 显示由 TfidfVectorizer 得到的主题 display_topics(lda_model_tfidf, tfidf_vectorizer.get_feature_names_out(), 10) ``` #### 主要差异分析 1. **数据表示的不同**: - `CountVectorizer`: 创建纯计数形式的数据结构，适合捕捉全局性的模式。 - `TfidfVectorizer`: 添加 IDF 权重调整，更适合区分不同文档间的独特特征[^1]。 2. **对 LDA 结果的影响**: - 当采用 `CountVectorizer` 时，由于保留了纯粹的词频信息，因此可以较好地反映整体语义倾向。 - 若选用 `TfidfVectorizer` ，则可能强调个别高频次但较少见的重要术语，这可能会使部分主题偏向局部特性而非广泛适用的内容[^3]。 综上所述，虽然两者都能完成相似的任务即生成适配 LDA 输入需求的形式化表达，但在具体应用场景下需依据实际目标选取合适工具。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值