LDA困惑度perplexity的一些个人理解

原创 已于 2023-08-04 17:20:12 修改 · 5.2k 阅读 · 26 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据分析

于 2020-12-13 23:35:10 首次发布
本文探讨gensim中LDA模型的perplexity计算原理，解析log_perplexity函数的具体实现过程，并讨论其与主题数量的关系及评估局限。

纠结这个问题很久了，期间主要去了gensim的google论坛，以及在StackOverflow、StackexChange用关键词topic number perplexity搜了下，得到这些很模糊的认识：

1. gensim的log_perplexity()解读：

根据gensim3.8.3的源码，log_perplexity()输出的是perwordbound，perwordbound计算步骤如下：

先调用bound()，通过一个chunk的语料W⃗\vec{W}W 计算整个语料库的对数似然值logp(W⃗)logp(\vec{W})logp(

最低0.47元/天 解锁文章
主题模型LDA教程：主题数选取 困惑度perplexing
Cachel Wood的博客
11-11 4271
比如，i这个句子位置上的概率分布的信息熵可能是190，或者说，i这个句子位置上出现的句子平均要用190 bits去编码，那么这个位置上的概率分布的困惑度就是2(190)。（译者：不是说算出来就一定是0.4%，而是说这样算本身是错的）因为直接预测下一个词是”the“的话，我们是在使用一元语法，而247是来源于三元语法的。（但当我们考虑k面骰子上的均匀分布时，困惑度是k，困惑度的倒数是1/k，正好是预测正确的概率）因此一个随机变量X的困惑度是定义在X的概率分布上的（X所有"可能"取值为x的部分）。
LDA困惑度
爱吃火锅的博客
02-22 1955
用perplexity去看主题个数，代码供参考 import re import math import json import random import requests import pandas as pd from gensim import corpora, models import jieba.posseg as jp, jieba from gensim import corpora, models import matplotlib.pyplot as plt from tqdm i
聚类算法之LDA
qwe1110的博客
01-02 3820
因工作需要，对2000多篇文件进行聚类，由于文本长度较短，所以聚类效果不好，随着主题数量的增加，困惑度一直增加，并未出现困惑度减少的现象，让我一直怀疑自己的做法是否正确。后来通过对通过标题+文本的拼接，才出现较好的收敛； perplexity（困惑度） 在对文本的主题特征进行研究时，要指定LDA生成的主题的数目，而一般的解决方法是使用perplexity来计算其中z是主题，w是...
LDA主题模型评估方法--Perplexity
MandY_joe的专栏
11-26 1万+
原文出处：http://blog.youkuaiyun.com/pirage/article/details/9368535 在LDA主题模型之后，需要对模型的好坏进行评估，以此依据，判断改进的参数或者算法的建模能力。 Blei先生在论文《Latent Dirichlet Allocation》实验中用的是Perplexity值作为评判标准。 一、Perplexity定义 源于wi
lda主题模型困惑度_Perplexity（困惑度）详解
weixin_39986741的博客
12-19 6963
引子：今年上半年，我报名参加了julyEdu的三月份机器学习班，在班上我自告奋勇地分享了下自己对LDA模型中几个重要问题，比如perplexity,likelihood和fold-inquery的理解、相关公式以及实现方案。不过由于最近要写一篇主题模型的文章，我重读了下LDA以及其他一些主题模型的经典文献，发现自己之前理解上存在一些偏差，于是就想写一篇博客，把整个思路重新理顺一下。(1)Perpl...
perplexity 衡量指标_求通俗解释NLP里的perplexity是什么？
weixin_39805998的博客
12-22 1495
高赞回答讲得已经非常通俗易懂，不过由于自然语言处理的发展，出现了许多不同类型的模型，对困惑度这个指标的计算方法颇有不同(包括前面的高赞回答也只是展开了一个子集)，常常让人摸不着头脑。所以这个回答旨在尽量全面地梳理不同语境下的perplexity的计算，帮助解决因为这些历史原因造成的困惑。润风：困惑度(perplexity)的基本概念及多种模型下的计算(N-gram, 主题模型, 神经网络)​zhu...
精选资源
用python计算lda语言模型的困惑度并作图
04-19
"用python计算lda语言模型的困惑度并作图" 该资源主要介绍了使用Python计算LDA语言模型的困惑度并将其可视化的过程。困惑度是一种常用的评估语言模型好坏的指标，通常在自然语言处理中使用。该资源提供了详细的...
gensim库_LDA主题模型困惑度Perplexity计算
u013085021的博客
07-19 8521
LDA主题模型困惑度Perplexity计算导入gensim库计算困惑度 perplexity是一种信息理论的测量方法，b的perplexity值定义为基于b的熵的能量（b可以是一个概率分布，或者概率模型），通常用于概率模型的比较。 该部分内容可参考Perplexity（困惑度）、python下进行lda主题挖掘(三)——计算困惑度perplexity 可搜索到的资料都通过编程实现了困惑度的计算，不过gensim库其实自带了perplexity的计算模块，稍作修改即可返回模型困惑度。 导入gensim库 f
gensim---LDA---perplexity
qq_32482091的博客
07-16 7374
以下内容来源于https://blog.youkuaiyun.com/qq_25073545/article/details/79773807 使用gensim实现lda，并计算perplexity（ gensim Perplexity Estimates in LDA Model） Neither. The values coming out of bound() depend on the numb...
lda主题模型困惑度_LDA主题模型
weixin_36119965的博客
12-03 2219
LDA是文本分析中最常用、最受欢迎的主题模型，全称是latent Dirichlet allocation。Latent是潜在变量的意思，它在主题模型中对应的是潜在主题，即文档的主题研究者观测不到。Dirichlet中文翻译为狄利克雷，是一种数学分布的名字(Dirichlet distribution)。LDA所要解决的问题就是根据每个文档的用词规律挖掘出一堆文档背后隐藏的多个主题。更甚...
LDA主题模型困惑度计算
05-12 5876
对于LDA模型，最常用的两个评价方法困惑度（Perplexity）、相似度（Corre）。 其中困惑度可以理解为对于一篇文章d，所训练出来的模型对文档d属于哪个主题有多不确定，这个不确定成都就是困惑度。困惑度越低，说明聚类的效果越好。 计算公式 分母是测试集中所有单词之和，即测试集的总长度，不用排重。其中p(w)指的是测试集中每个单词出现的概率，计算公式...
LDA计算 perplexity（困惑度）确定主题个数（代码）
热门推荐
xxidaojia的博客
10-23 3万+
为了计算LDA 的困惑度，费劲千辛万苦，终于有所收获，以此记录。 本篇文章主要介绍perplexity的计算方式，并未涉及过多的困惑度原理，想了解更多原理部分，请移步perplexity介绍 本文主要是对Perplexity per word进行困惑度计算，公式： 以下是实现代码(工具pycharm、Python3.7)，分了三个部分 1.LDA的主题生成 from ge...
lda主题模型困惑度_nlp中的主题模型
weixin_36335482的博客
02-17 1436
本文对nlp中一个极为重要的模型——主题模型LDA(Latent Dirichlet Allocation)从宏观理解与数学解释两个维度进行介绍。1、LDA的宏观理解谈起LDA，自然需要引入pLSA。pLSA是用一个生成模型来建模文章的生成过程。假设有K个主题，M篇文章；对语料库中的任意文章d，假设该文章有N个词，则对于其中的每一个词，我们首先选择一个主题z，然后在当前主题的基础上生成一个词w。生...
lda主题模型python_LDA主题模型及python实现
weixin_39660922的博客
12-11 2178
LDA(Latent Dirichlet Allocation)中文翻译为：潜在狄利克雷分布。LDA主题模型是一种文档生成模型，是一种非监督机器学习技术。它认为一篇文档是有多个主题的，而每个主题又对应着不同的词。一篇文档的构造过程，首先是以一定的概率选择某个主题，然后再在这个主题下以一定的概率选出某一个词，这样就生成了这篇文档的第一个词。不断重复这个过程，就生成了整篇文章(当然这里假定词与词之间是...
lda主题模型困惑度_LDA 主题模型效果度量
weixin_29227585的博客
12-29 2629
度量方法：在测试集或训练集上计算困惑度在具体应用中看效果，如分类这里主要说说如何计算困惑度。计算方法为：计算每篇文档的概率p(d)，除以所有文档词的总数(不排重)，乘以-1，求指数难点在于计算每篇文档的概率 参考1 参考2, 在Blei原始论文中并没有详说。一种方法是计算一篇文档所有词的概率和，即似然性，然后取log,这也是gensim和sklearn的做法。一个词的概率：p(w) = sigm...
LDA主题模型绘制困惑度（perplexity）-主题数曲线——python
weixin_41168304的博客
12-06 2万+
主题建模作为一种基于机器学习的文本内容分析技术，一般用于推断文本文档中隐藏主题的技术。很多研究使用了基于Latent Dirichlet Allocation (LDA)的主题建模算法来处理大规模文档并识别潜在主题。LDA主题模型已经在多个研究领域得到应用，且都有着不俗表现。 LDA作为一种无监督机器学习技术，利用词袋方法识别隐藏在大规模文档集或语料库中的主题信息。LDA模型可挖掘出文档集或语料库中的潜在主题信息，并采用词 袋构建模型，在不考虑词汇出现顺序的情况下，构成“文档-主题分布”和“主题-词分布”
c++矩阵连乘的动态规划算法并输出_AI自然语言处理算法岗常见面试题(一)
weixin_39521808的博客
11-21 264
从隐藏层到输出的Softmax层的计算有哪些方法？层次softmax负采样层次softmax流程？构造Huffman Tree最大化对数似然函数输入层：是上下文的词语的词向量投影层：对其求和，所谓求和，就是简单的向量加法输出层：输出最可能的word沿着哈夫曼树找到对应词，每一次节点选择就是一次logistics选择过程，连乘即为似然函数对每层每个变量求偏导，参考sgd负采样流程？统计每个词出现对概...
困惑度、主题一致性，lda模型找出主题相关词
古月哲亭
10-10 2万+
通俗一点解释下就是，困惑度表示的对于一篇文章来说，我们有多不确定它是属于某个主题的。即主题的个数越多，模型的困惑度就越低，但是注意一点，当主题数很多的时候，生成的模型往往会过拟合，所以不能单纯依靠困惑度来判断一个模型的好坏。这时候我们的另一个判断标准就有作用了。biubiu~一致性！困惑度perplexity：句子的概率的倒数。如果句子的概率越大，说明这句话越符合人话的规律，即p（句子），pp困惑度越小。模型对该句子就越不困惑。通过图形，我暂时将主题定为10个。主题一致性：coherence。
LDA理解
weixin_30399155的博客
05-24 158
LDA只是一个求解思路。 1.理解LDA首先要理解EM算法，EM不能叫做一个算法，只是一个思想：它要求解的其实是一个极大似然估计，就是我用已知量去求解导致这个已知量出现的最大概率，而在这里又恰恰有点偏，这个已知量是我们开始给定的这个初值，我们要去用这个已知量去求解最大，然后再用这个最大值再带入到我们这个模型中，再去求解，这样反复迭代的过程叫做EM。 例子： 我们要求这个式子的...
python计算lda困惑度
最新发布
11-29
在Python中，Latent Dirichlet Allocation (LDA)是一种常用的主题模型，用于发现文本数据中的潜在主题。LDA中的困惑度（Perplexity）是一个评估模型性能的重要指标，它衡量了模型对于新观察到的数据集的预测能力，值越低表示模型对数据的理解越好。 计算LDA的困惑度通常涉及以下步骤： 1. **训练模型**：使用`gensim`库中的`LdaModel`或者其他相关的工具如`sklearn-decomposition`中的`LatentDirichletAllocation`训练LDA模型。 ```python from gensim import corpora, models # 假设已经准备好了词袋模型bow_corpus和词汇vocabulary lda_model = models.LdaModel(bow_corpus, num_topics=10, id2word=vocabulary) ``` 2. **评估困惑度**：模型训练完成后，可以使用`perplexity`函数来计算困惑度。 ```python perplexity = lda_model.log_perplexity(bow_corpus) ``` `log_perplexity`返回的是对数困惑度，一般我们会取其负值，因为它是个小数。 ```python negative_log_perplexity = -perplexity ```
评论 9
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值