NLP 3.6 LDA, Gibbs sampling & collapsed gibbs sampling

最新推荐文章于 2024-05-28 10:05:26 发布
最新推荐文章于 2024-05-28 10:05:26 发布
阅读量539 收藏
点赞数 1
文章标签： 机器学习 自然语言处理 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_51182518/article/details/113977625
版权
本文深入探讨LDA（Latent Dirichlet Allocation）主题模型，对比朴素贝叶斯，阐述LDA如何估计模型参数，并介绍Gibbs采样和Collapsed Gibbs采样的过程。LDA不仅用于文本聚类，还能生成文章。文章详细解释了采样过程，包括从α到θi和β到ϕ的Dirichlet分布，以及采样zi,j和wi,j的方法。最后讨论了Collapsed Gibbs采样的优势，即仅对zi,j进行采样，边缘化θ和ϕ。" 132751480,19694748,Python定时器：轻松实现自动任务执行,"['Python', '开发语言', '定时任务']

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1、主题模型 LDA

  • 文本类
  • 社交
  • 推荐

1.1 Introduction

  • 有大量的文本资料

  • LDA接受的最小单元是document

  • 学习出每个文本的主题

  • 设定超参数K

  • output：每个文档会有一个概率的分布，主题分布，选择概率最大的簇作为当前文档分类后的主题。 θ \theta θ

在这里插入图片描述

  • 词主题：在每个主题下，每个单词出现的概率有多大。每个单词在每个主题下出现的概率。 ϕ \phi ϕ
    在这里插入图片描述

  • Topic 是一个隐变量。

  • 对于词主题，把每一个簇中出现概率最大的几个单词拿出来，查看它们的类别，那么簇有很大的概率属于这一个类别。

朴素贝叶斯与LDA的区别

朴素贝叶斯每次只考虑当前的一个topic，只考虑对于当前topic中的词对于topic的影响。

在这里插入图片描述

2、不同模型的范畴 Model estimation

贝叶斯模型的定义：

MLE和MAP的都是频率派
通过学习估算出一个最优解

1、MLE
在这里插入图片描述

2、MAP：后验概率 既考虑likelihood也考虑先验概率

在这里插入图片描述
3、Bayesian
不是估计哪个参数最好，计算所有可能的 θ \theta θ求积分
在训练值已知的情况下，预测出 θ \theta θ的分布。
贝叶斯模型的核心：计算
p ( θ ∣ D ) p(\theta|D) p(θ∣D)的分布概率
在这里插入图片描述

3、LDA 预测的过程

计算训练集中所有的模型参数的可能的是很困难的，所以使用蒙特卡洛方法进行近似采样。

在这里插入图片描述

  • 先采样
  • 再把采样的结果放到预测的里面

4、Monte Carlo Sample

Markov chain Monte Cartlo(增加依赖关系)

在这里插入图片描述

5、如何使用LDA

5.1 LDA 的使用

  • 加载数据集
  • 文本处理(count-based)
  • 使用LDA API（n_topics的设定需要调参把）
  • 还需要定义 α , β \alpha,\beta α,β
  • 画图

5.2 生成文章的process

目标：生成document，写一个文档。
基于参数，会生成文档。
在这里插入图片描述

  • 第一步：选择主题
    case 1：只包含一个主题
    case 2：包含多个主题
    在这里插入图片描述
  • 第二步：生成文章
    生成list of words，lda不考虑单词的先后顺序
    for j=1，2, …,99,100个单词
    i）选择一个主题，选择一个合适的单词，比如科技
    ii）在科技类别上选择合适的单词，对于科技类概率较大的词分布

针对每一个文档，先采样主题，在根据主体里的词分布，采样单词。

LDA 可以理解为是对文本的聚类，朴素贝叶斯是认定每个文本是属于一个主题，lda是考虑每个文本的主题是考虑了多种主题的概率分布，即每个文本都可能是任意一个主题，只不过成为任意一个主题的概率是不同的。

5.3 LDA的模型示意图

定义变量：

k：number of topic
N：number of document
N i N_i N<

最低0.47元/天 解锁文章
自然语言处理之话题建模：Gibbs Sampling在主题模型中的应用
zhubeibei168的博客
09-23 1179
文本分类是自然语言处理（NLP）中的一个核心任务，它涉及将文本数据分配到预定义的类别中。例如，新闻文章可以被分类为体育、政治、科技等。文本分类在信息检索、情感分析、垃圾邮件过滤等领域有着广泛的应用。数据预处理：包括文本清洗、分词、去除停用词等。特征提取：将文本转换为机器学习算法可以理解的数值特征，如词袋模型、TF-IDF等。模型训练：使用机器学习或深度学习算法训练分类模型。模型评估：通过准确率、召回率、F1分数等指标评估模型性能。应用模型：将训练好的模型用于新文本的分类。
LDA入门级学习笔记
mytestmy的专栏
09-14 1万+
LDA入门级学习笔记
概率语言模型及其变形系列(2)-LDA及Gibbs Sampling
热门推荐
Coding for Dreams
12-17 6万+
本系列博文介绍常见概率语言模型及其变形模型，主要总结PLSA、LDA及LDA的变形模型及参数Inference方法。初步计划内容如下第一篇：PLSA及EM算法第二篇：LDA及Gibbs Samping第三篇：LDA变形模型-Twitter LDA，TimeUserLDA，ATM，Labeled-LDA，MaxEnt-LDA等第四篇：基于变形LDA的paper分类总结第五篇：LDA Gibbs Sa
27[NLP训练营]collapsed gibbs sampling
老毛的博客
06-14 881
文章目录回顾第一步第二步 看分子第一项第二项联合第一、第二项第二步 看分母分子分母同时看化简小栗子小结 公式输入请参考：在线Latex公式 回顾 下图是LDA生成的过程。 为了更好描述collapsed gibbs sampling。把里面的标识换一下，问题的描述变成： 计算P(Zts∣Z−ts,w,α,β)P(Z_{ts}|Z_{-ts},w,\alpha,\beta)P(Zts​∣Z−ts​,w,α,β) ttt代表第ttt个文档 sss代表第ttt个文档的第sss个单词 假设有一个集合 x={x1
Collapsed Gibbs Sampling for Latent Dirichlet Allocation on Spark
大表哥的博客
03-03 5231
摘要 本文针对Spark上广泛使用的潜在Dirichlet分配(LDA)模型，实现了一种折叠Gibbs抽样方法。 Spark是一款面向大规模数据处理的快速内存集群计算框架，成为大数据小镇的领域话题已经有一段时间了。 适用于迭代和交互算法。 该方法将数据集分割成P∗P个分区，使用规则将这些分区洗牌并重组成P个子数据集，避免采样冲突，其中每个P个子数据集只包含P个分区，然后逐个并行处理每个子数据集。 尽管增加了迭代次数，但该方法减少了数据通信开销，充分利用了Spark的高效迭代执行，并在我们的实验中...
LDA Gibbs Sampling
weixin_30432007的博客
04-23 125
注意：$\alpha$和$\beta$已知，常用为（和LDA EM算法不同） 1. 为什么可用 LDA模型求解的目标为得到$\phi$和$\theta$ 假设现在已知每个单词对应的主题$z$，则可以求得$\theta$的后验分布，求期望得到$E(\theta)$作为每份文档的主题 $E(\theta_{mk})=\frac{n_m^k+\alpha_k}{n_m+\alp...
R语言学习lda模型
最新发布
09-21
R语言是一种专门用于统计计算和图形展示的语言，在文本挖掘和自然语言处理领域非常流行。LDA（Latent Dirichlet Allocation，潜在狄利克雷分配）是一个常用的无监督机器学习算法，主要用于主题建模，常用于分析文档...
LDA模型公式的推导
10-30
Latent Dirichlet Allocation（LDA）作为主题模型的一种，在自然语言处理、文本挖掘等领域有着广泛的应用。LDA模型通过将文档表示为多个主题的混合，能够有效地进行主题发现与文档分类。在LDA模型的参数估计中，变分...
Collapsed Gibbs Sampling
秋水顽石
12-20 2314
(The contents of this post are largely due to a conversation with Percy Liang at ACL.)I’m a big fan of Gibbs sampling for Bayesian problems, just because it’s so darn easy. The standard setup for Gibbs
java源码包-LDAGibbsSampling:用于LDA的Gibbs采样的开源软件包
05-24
java原始包LDAGibbs采样 / ** SMU Text Mining Group /新加坡管理大学/北京大学版权所有（C）2013 LDAGibbsSampling出于研究目的而分发，但不作任何担保； 甚至没有对适销性或特定用途适用性的暗示保证。 如果发现包装中有任何问题，请随时与以下人员联系。 2016年10月10日更新。* * / 简单的介绍 这是LDA的Gibbs采样的开源实现。 数据集是Newsgroup-18828，它包含在项目中。 您可以使用它测试其他数据集。 只需将项目导入Eclipse并运行LdaGibbsSampling.java即可启动它，而无需进行任何配置。 示例原始文档和示例输出文件已包括在内。 要下载整个Newsgroup-18828数据集，请参考。 输出文件的格式 lda_n.params：LDA模型的超参数。 lda_n.phi：一个K * V矩阵，这是最小的主题词分布。 lda_n.tassign：当进行n次迭代时，每个文档中每个单词的主题分配。 lda_n.theta：M * K矩阵，这是学习到的文档主题分布。 lda_n.twords：最热门
LDA模型里Gibbs sampling后验概率详细推导过程
06-05
LDA模型的理解对很多人是一种挑战，尤其是参数估计部分。本文档详细给出了TOTLDA和LDA两个主题概率模型的参数估计需要用到的后验概率的推导过程，并采用了两种方法，对主题概率模型研究人员具有很好的启发意义！
CollapsedGibbsLDATopicModel:使用潜在狄利克雷分配（LDA）作为生成模型的主题模型，以及折叠吉布斯采样来执行后验推理
06-30
潜在狄利克雷分配和折叠吉布斯采样 该项目的目标是实施概率主题模型，以从大型非结构化文档集合中提取主要主题。 我已经将潜在狄利克雷分配（LDA）用于生成模型，以及折叠吉布斯采样来执行后验推理。 该算法将推断与每个主题相关联的单词的概率分布、每个文档的主题分布以及负责生成每个单词的主题。 我使用了 NLTK 工具包中可用的棕色语料库的子集作为我实验的数据集。
LDAGibbsSampling的java实现中文主题发现
01-11
在该作者（http://blog.csdn.net/yangliuy/article/details/8457329）的基础上添加中文分词，实现中文主题发现。相关的文档请到原版作者查阅。谢谢！ 也许是待分析的语料太少，效果好像不是很好。 目前的语料输出结果如下： topic 0 : 等 0.010036719031631947 这样 0.010036719031631947 但 0.010036719031631947 下 0.007588739041239023 很难 0.007588739041239023 一个 0.007588739041239023 于 0.007588739041239023 亿元 0.0051407585851848125 目前 0.0051407585851848125 带动 0.0051407585851848125 上 0.0051407585851848125 提出 0.0051407585851848125 地 0.0051407585851848125 做 0.0051407585851848125 技术 0.0051407585851848125 水平 0.0051407585851848125 不 0.0051407585851848125 作 0.0051407585851848125 其实 0.0051407585851848125 市场 0.0051407585851848125 topic 1 : 在 0.02684444561600685 和 0.023288888856768608 对 0.012622222304344177 进行 0.010844443924725056 为 0.009066666476428509 与 0.009066666476428509 选择 0.009066666476428509 还是 0.009066666476428509 其中 0.0072888885624706745 主要 0.0072888885624706745 而 0.0072888885624706745 只有 0.0072888885624706745 看 0.0072888885624706745 遇到 0.0072888885624706745 3 0.005511111114174128 把 0.005511111114174128 也 0.005511111114174128 注意 0.005511111114174128 时间 0.005511111114174128 一种 0.005511111114174128 topic 2 : 英语 0.012685983441770077 考生 0.012685983441770077 可以 0.011119811795651913 词汇 0.009553641080856323 句子 0.009553641080856323 时 0.007987470366060734 就 0.007987470366060734 考试 0.007987470366060734 阅读 0.007987470366060734 写作 0.007987470366060734 上 0.006421299651265144 才能 0.006421299651265144 很多 0.006421299651265144 理解 0.006421299651265144 一些 0.006421299651265144 复习 0.006421299651265144 基础 0.006421299651265144 翻译 0.006421299651265144 大家 0.006421299651265144 根据 0.006421299651265144 topic 3 : 等 0.01035533007234335 公司 0.008324872702360153 网上 0.008324872702360153 法院 0.008324872702360153 和 0.0062944162636995316 迪 0.0062944162636995316 志 0.0062944162636995316 经营 0.0062944162636995316 易趣网 0.0062944162636995316 进 0.0062944162636995316 在 0.004263959359377623 该 0.004263959359377623 其 0.004263959359377623 拥有 0.004263959359377623 5 0.004263959359377623 记者 0.004263959359377623 巨头 0.004263959359377623 直接 0.004263959359377623 研究所 0.004263959359377623 文渊阁 0.004263959359377623 topic 4 : 来 0.010161090642213821 中国 0.010161090642213821 之后 0.007682775612920523 主要 0.007682775612920523 2005年 0.005204460583627224 生产 0.005204460583627224 发展 0.005204460583627224 消费 0.005204460583627224 企业 0.005204460583627224 能 0.005204460583627224 这是 0.005204460583627224 还得 0.005204460583627224 工业 0.005204460583627224 百强 0.005204460583627224 发布 0.005204460583627224 各项 0.005204460583627224 药 0.005204460583627224 会上 0.005204460583627224 汽车 0.002726146252825856 专用汽车 0.002726146252825856 topic 5 : 表示 0.005761316511780024 信息 0.005761316511780024 人们 0.005761316511780024 认为 0.005761316511780024 接受 0.005761316511780024 时 0.005761316511780024 人 0.005761316511780024 没有 0.005761316511780024 最高 0.005761316511780024 过热 0.0030178327579051256 余 0.0030178327579051256 亩 0.0030178327579051256 工程 0.0030178327579051256 系列 0.0030178327579051256 行业 0.0030178327579051256 必须有 0.0030178327579051256 空间 0.0030178327579051256 则 0.0030178327579051256 二次 0.0030178327579051256 专家 0.0030178327579051256 topic 6 : 实力 0.008062418550252914 已经 0.008062418550252914 不同 0.008062418550252914 资金 0.005461638327687979 大量 0.005461638327687979 比 0.005461638327687979 成为 0.005461638327687979 质量 0.005461638327687979 略有 0.005461638327687979 相当 0.005461638327687979 成功 0.005461638327687979 高度 0.005461638327687979 盘 0.005461638327687979 来看 0.005461638327687979 看到 0.005461638327687979 数据 0.005461638327687979 大 0.005461638327687979 越来越多 0.005461638327687979 楼 0.005461638327687979 投资 0.0028608583379536867 topic 7 : 以 0.009867629036307335 nbsp 0.0074608903378248215 曼 0.0074608903378248215 桢 0.0074608903378248215 7 0.005054151173681021 2 0.005054151173681021 其 0.005054151173681021 300 0.005054151173681021 就是 0.005054151173681021 他 0.005054151173681021 又 0.005054151173681021 半生 0.005054151173681021 缘 0.005054151173681021 香港 0.005054151173681021 她也 0.005054151173681021 世 0.005054151173681021 璐 0.005054151173681021 祝 0.005054151173681021 鸿 0.005054151173681021 文 0.005054151173681021 topic 8 : 在 0.016857441514730453 小 0.012695109471678734 这 0.010613943450152874 袁 0.010613943450152874 电话 0.010613943450152874 上海 0.008532778359949589 东莞 0.008532778359949589 总部 0.006451612804085016 没有 0.006451612804085016 他 0.006451612804085016 大学生 0.006451612804085016 设立 0.006451612804085016 随后 0.006451612804085016 才 0.006451612804085016 广东 0.004370447248220444 不少 0.004370447248220444 依然 0.004370447248220444 回 0.004370447248220444 该公司 0.004370447248220444 15日 0.004370447248220444 topic 9 : 旅游 0.016091953963041306 游客 0.01432360801845789 解析 0.009018567390739918 五一 0.009018567390739918 接待 0.009018567390739918 增长 0.009018567390739918 再次 0.0072502209804952145 黄金周 0.0072502209804952145 南京 0.0072502209804952145 里 0.0072502209804952145 人次 0.0072502209804952145 景点 0.0072502209804952145 也 0.005481874104589224 以上 0.005481874104589224 已经 0.005481874104589224 数据 0.005481874104589224 今年 0.005481874104589224 同期 0.005481874104589224 周边 0.005481874104589224 景区 0.005481874104589224
LDA与Gibbs Sampling
fenss的博客
03-08 429
LDA与Gibbs Sampling 统计推断简介 待补充 B\BetaB函数与Γ\GammaΓ函数的性质 待补充 Beta\text{Beta}Beta、Dirichlet\text{Dirichlet}Dirichlet分布与二项、多项分布 待补充 LDA的概念与似然表示 LDA（Latent Dirichlet Allocation）使用概率生成模型的方式描述文档——主题——单词之间的关系，LDA原文的概率图描述如下： 原文中对每篇文章的每个单词，生成过程描述如下： Choose N∼Poiss
使用collapsed gibbs sampling对LDA中参数进行估计的推导过程
duskwaitor的专栏
03-21 5221
使用来表示文档--主题分布的超参数，使用来表示主题--词汇分布的超参数，这些超参数的先验分布被定义在一个狄利克莱分布中，如下所示： 在给定参数的情况下，所有隐变量（主题）的概率被定义在一个多项式分布中，其中表示在文档m中，被赋给主题k的词汇数量。 在给定参数的情况下，所有可观测变量（单词）的概率和所有的隐变量被定义在一个多项式分布中，其中表示语料库中单词v被赋予主题z的次数。 注意，
探索文本世界的秘密：LDAGibbsSampling —— 一个开放源代码的LDA主题模型实现
gitblog_00030的博客
05-28 307
探索文本世界的秘密：LDAGibbsSampling —— 一个开放源代码的LDA主题模型实现 去发现同类优质开源项目:https://gitcode.com/ 1. 项目介绍 LDAGibbsSampling 是一个基于Java的开源实现，用于使用Gibbs采样方法进行潜在语义分析（Latent Dirichlet Allocation, 简称LDA）。它包含了一个内建的新闻组数据集（Newsg...
LDA Gibbs Smapling理解
weixin_30824277的博客
12-18 178
即排除当前词的主题分配，根据其他词的主题分配和观察到的单词来计算当前词主题的概率公式 里面用到了伽马函数的性质 当Gibbs sampling 收敛后，我们需要根据最后文档集中所有单词的主题分配来计算和，作为我们估计出来的概率图模型中的隐含变量。每个文档上Topic的后验分布和每个Topic下的term后验分布如下 我们可以得到两个Multinomial分布的参数和的计算公式...
LDA主题模型简介-&&-浅谈gibbs sampling（LDA实验）
lafeedfh的专栏
03-24 1136
LDA, Machine Learning
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值