主题模型-LDA浅析

最新推荐文章于 2025-06-27 09:01:21 发布
最新推荐文章于 2025-06-27 09:01:21 发布
阅读量2k 收藏 2
点赞数
分类专栏： 机器学习

一、原文：http://cos.name/2010/10/lda_topic_model/

LDA主题模型简介

    上个学期到现在陆陆续续研究了一下主题模型（topic model）这个东东。何谓“主题”呢？望文生义就知道是什么意思了，就是诸如一篇文章、一段话、一个句子所表达的中心思想。不过从统计模型的角度来说， 我们是用一个特定的词频分布来刻画主题的，并认为一篇文章、一段话、一个句子是从一个概率模型中生成的。

    D. M. Blei在2003年（准确地说应该是2002年）提出的LDA（Latent Dirichlet Allocation）模型（翻译成中文就是——潜在狄利克雷分配模型）让主题模型火了起来， 今年3月份我居然还发现了一个专门的LDA的R软件包（7月份有更新），可见主题模型方兴未艾呀。主题模型是一种语言模型，是对自然语言进行建模，这个在信息检索中很有用。

    LDA主题模型涉及到贝叶斯理论、Dirichlet分布、多项分布、图模型、变分推断、EM算法、Gibbs抽样等知识，不是很好懂，LDA那篇30 页的文章我看了四、五遍才基本弄明白是咋回事。那篇文章其实有点老了，但是很经典，从它衍生出来的文章现在已经有n多n多了。主题模型其实也不只是LDA 了，LDA之前也有主题模型，它是之前的一个突破，它之后也有很多对它进行改进的主题模型。需要注意的是，LDA也是有名的Linear Discriminant Analysis（线性判别分析）的缩写。

    LDA是一种非监督机器学习技术，可以用来识别大规模文档集（document collection）或语料库（corpus）中潜藏的主题信息。它采用了词袋（bag of words）的方法，这种方法将每一篇文档视为一个词频向量，从而将文本信息转化为了易于建模的数字信息。但是词袋方法没有考虑词与词之间的顺序，这简化了问题的复杂性，同时也为模型的改进提供了契机。每一篇文档代表了一些主题所构成的一个概率分布，而每一个主题又代表了很多单词所构成的一个概率分布。由于 Dirichlet分布随机向量各分量间的弱相关性（之所以还有点“相关”，是因为各分量之和必须为1），使得我们假想的潜在主题之间也几乎是不相关的，这与很多实际问题并不相符，从而造成了LDA的又一个遗留问题。

    对于语料库中的每篇文档，LDA定义了如下生成过程（generative process）：

    1. 对每一篇文档，从主题分布中抽取一个主题；

    2. 从上述被抽到的主题所对应的单词分布中抽取一个单词；

    3. 重复上述过程直至遍历文档中的每一个单词。

    更形式化一点说，语料库中的每一篇文档与 T（通过反复试验等方法事先给定）个主题的一个多项分布相对应，将该多项分布记为 \theta。每个主题又与词汇表（vocabulary）中的  V个单词的一个多项分布相对应，将这个多项分布记为 \phi。上述词汇表是由语料库中所有文档中的所有互异单词组成，但实际建模的时候要剔除一些停用词（stopword），还要进行一些词干化（stemming）处理等。\theta 和\phi分别有一个带有超参数（hyperparameter）\alpha和\beta的Dirichlet先验分布。对于一篇文档d中的每一个单词，我们从该文档所对应的多项分布\theta中抽取一个主题z，然后我们再从主题z所对应的多项分布\phi中抽取一个单词w。将这个过程重复N_d次，就产生了文档d，这里的N_d是文档d的单词总数。这个生成过程可以用如下的图模型表示

    这个图模型表示法也称作“盘子表示法”（plate notation）。图中的阴影圆圈表示可观测变量（observed variable），非阴影圆圈表示潜在变量（latent variable），箭头表示两变量间的条件依赖性（conditional dependency），方框表示重复抽样，重复次数在方框的右下角。

    该模型有两个参数需要推断（infer）：一个是“文档-主题”分布\theta，另外是T个“主题-单词”分布\phi。通过学习（learn）这两个参数，我们可以知道文档作者感兴趣的主题，以及每篇文档所涵盖的主题比例等。推断方法主要有LDA模型作者提出的变分-EM算法，还有现在常用的Gibbs抽样法。

    LDA模型现在已经成为了主题建模中的一个标准。如前所述，LDA模型自从诞生之后有了蓬勃的扩展，特别是在社会网络和社会媒体研究领域最为常见。

二、原文：http://blog.youkuaiyun.com/huagong_adu/article/details/7937616

（一）LDA作用

        传统判断两个文档相似性的方法是通过查看两个文档共同出现的单词的多少，如TF-IDF等，这种方法没有考虑到文字背后的语义关联，可能在两个文档共同出现的单词很少甚至没有，但两个文档是相似的。

        举个例子，有两个句子分别如下：

                “乔布斯离我们而去了。”

                “苹果价格会不会降？”

        可以看到上面这两个句子没有共同出现的单词，但这两个句子是相似的，如果按传统的方法判断这两个句子肯定不相似，所以在判断文档相关性的时候需要考虑到文档的语义，而语义挖掘的利器是主题模型，LDA就是其中一种比较有效的模型。

        在主题模型中，主题表示一个概念、一个方面，表现为一系列相关的单词，是这些单词的条件概率。形象来说，主题就是一个桶，里面装了出现概率较高的单词，这些单词与这个主题有很强的相关性。

        怎样才能生成主题？对文章的主题应该怎么分析？这是主题模型要解决的问题。

        首先，可以用生成模型来看文档和主题这两件事。所谓生成模型，就是说，我们认为一篇文章的每个词都是通过“以一定概率选择了某个主题，并从这个主题中以一定概率选择某个词语”这样一个过程得到的。那么，如果我们要生成一篇文档，它里面的每个词语出现的概率为：


        这个概率公式可以用矩阵表示：


        其中”文档-词语”矩阵表示每个文档中每个单词的词频，即出现的概率；”主题-词语”矩阵表示每个主题中每个单词的出现概率；”文档-主题”矩阵表示每个文档中每个主题出现的概率。

        给定一系列文档，通过对文档进行分词，计算各个文档中每个单词的词频就可以得到左边这边”文档-词语”矩阵。主题模型就是通过左边这个矩阵进行训练，学习出右边两个矩阵。

        主题模型有两种：pLSA（ProbabilisticLatent Semantic Analysis）和LDA（Latent Dirichlet Allocation），下面主要介绍LDA。

（二）LDA介绍

        如何生成M份包含N个单词的文档，LatentDirichlet Allocation这篇文章介绍了3方法：

        方法一：unigram model

        该模型使用下面方法生成1个文档：

        For each ofthe N words w_n: 
                Choose a word w_n ～ p(w); 

        其中N表示要生成的文档的单词的个数，w_n表示生成的第n个单词w，p(w)表示单词w的分布，可以通过语料进行统计学习得到，比如给一本书，统计各个单词在书中出现的概率。

        这种方法通过训练语料获得一个单词的概率分布函数，然后根据这个概率分布函数每次生成一个单词，使用这个方法M次生成M个文档。其图模型如下图所示：


        方法二：Mixture of unigram

        unigram模型的方法的缺点就是生成的文本没有主题，过于简单，mixture of unigram方法对其进行了改进，该模型使用下面方法生成1个文档：

        Choose a topicz ～ p(z); 

        For each ofthe N words w_n: 

                Choose a word w_n ～ p(w|z); 

        其中z表示一个主题，p(z)表示主题的概率分布，z通过p(z)按概率产生；N和w_n同上；p(w|z)表示给定z时w的分布，可以看成一个k×V的矩阵，k为主题的个数，V为单词的个数，每行表示这个主题对应的单词的概率分布，即主题z所包含的各个单词的概率，通过这个概率分布按一定概率生成每个单词。

        这种方法首先选选定一个主题z，主题z对应一个单词的概率分布p(w|z)，每次按这个分布生成一个单词，使用M次这个方法生成M份不同的文档。其图模型如下图所示：


        从上图可以看出，z在w所在的长方形外面，表示z生成一份N个单词的文档时主题z只生成一次，即只允许一个文档只有一个主题，这不太符合常规情况，通常一个文档可能包含多个主题。

        方法三：LDA(Latent Dirichlet Allocation)

        LDA方法使生成的文档可以包含多个主题，该模型使用下面方法生成1个文档：

        Chooseparameter θ ～ p(θ); 

        For each ofthe N words w_n: 

                Choose a topic z_n ～ p(z|θ); 

                Choose a word w_n ～ p(w|z); 

        其中θ是一个主题向量，向量的每一列表示每个主题在文档出现的概率，该向量为非负归一化向量；p(θ)是θ的分布，具体为Dirichlet分布，即分布的分布；N和w_n同上；z_n表示选择的主题，p(z|θ)表示给定θ时主题z的概率分布，具体为θ的值，即p(z=i|θ)= θ_i；p(w|z)同上。

        这种方法首先选定一个主题向量θ，确定每个主题被选择的概率。然后在生成每个单词的时候，从主题分布向量θ中选择一个主题z，按主题z的单词概率分布生成一个单词。其图模型如下图所示：


        从上图可知LDA的联合概率为：


        把上面的式子对应到图上，可以大致按下图理解：


        从上图可以看出，LDA的三个表示层被三种颜色表示出来：

        1. corpus-level（红色）：α和β表示语料级别的参数，也就是每个文档都一样，因此生成过程只采样一次。

        2.document-level（橙色）：θ是文档级别的变量，每个文档对应一个θ，也就是每个文档产生各个主题z的概率是不同的，所有生成每个文档采样一次θ。

        3. word-level（绿色）：z和w都是单词级别变量，z由θ生成，w由z和β共同生成，一个 单词w对应一个主题z。

        通过上面对LDA生成模型的讨论，可以知道LDA模型主要是从给定的输入语料中学习训练两个控制参数α和β，学习出了这两个控制参数就确定了模型，便可以用来生成文档。其中α和β分别对应以下各个信息：

        α：分布p(θ)需要一个向量参数，即Dirichlet分布的参数，用于生成一个主题θ向量；

        β：各个主题对应的单词概率分布矩阵p(w|z)。

        把w当做观察变量，θ和z当做隐藏变量，就可以通过EM算法学习出α和β，求解过程中遇到后验概率p(θ,z|w)无法直接求解，需要找一个似然函数下界来近似求解，原文使用基于分解（factorization）假设的变分法（varialtional inference）进行计算，用到了EM算法。每次E-step输入α和β，计算似然函数，M-step最大化这个似然函数，算出α和β，不断迭代直到收敛。

 

        参考文献：

David M. Blei, AndrewY. Ng, Michael I. Jordan, LatentDirichlet Allocation, Journal of Machine Learning Research 3, p993-1022,2003

【JMLR’03】Latent Dirichlet Allocation （LDA）- David M.Blei

搜索背后的奥秘——浅谈语义主题计算

http://bbs.byr.cn/#!article/PR_AI/2530?p=1


【PyTorch基础教程30】DSSM双塔模型（线上召回 | 模型更新）
发现问题，并解决问题，批判性思维
06-22 2995
召回中，一般的训练方式分为三种：point-wise、pair-wise、list-wise。用参数`mode`来指定训练方式，每一种不同的训练方式也对应不同的Loss。 对应的三种训练方式可以参考下图（3种），其召回中，一般的训练方式分为三种：point-wise、pair-wise、list-wise。在datawhale的RecHub中，用参数`mode`来指定训练方式，每一种不同的训练方式也对应不同的Loss。.................................
机器学习面试准备（持续更新）--- 优秀博文传送门，收集优秀资源
做一枚优秀的程序猿,欢迎交流: sunpeng1996 at aliyun dot com
01-26 1万+
优秀博文传送门，收集优秀资源
主题模型TopicModel：LDA的缺陷和改进
chuange6363的博客
08-14 1596
http://blog.youkuaiyun.com/pipisorry/article/details/45307369 LDA的缺陷和改进 1. 短文本与LDA ICML论文有理论分析，文档太短确实不利于训练LDA,但平均长度是10这个数量级应该是可以的，如peacock基于query ...
LDA主题模型
weixin_30764883的博客
01-06 270
标题 ##LDA算法忽略复杂数学推导的描述 先看一个博主关于LDA形象化的描述： http://blog.youkuaiyun.com/huagong_adu/article/details/7937616 （一）LDA作用 传统判断两个文档相似性的方法是通过查看两个文档共同出现的单词的多少，如TF-IDF等，这种方法没有考虑到文字背后的语义关联，可能在两个...
零基础LDA主题模型实战讲解
最新发布
weixin_42518334的博客
06-27 650
LDA模型，即隐狄利克雷分布（Latent Dirichlet Allocation），是一种文档主题生成模型，属于无监督机器学习算法的范畴。由David Blei、Andrew Ng和Michael I. Jordan于2003年提出，其核心思想是：文档由多个主题组成，每个主题又由一系列词汇构成。LDA模型能够将文档集合中隐含的主题结构揭示出来，从而用于文本聚类、关键词提取、推荐系统等多种文本分析任务。
LDA模型
selfdem的专栏
02-29 1432
原文的主要内容         有两种方法设计分类器：      1. discriminative model，就是由样本直接设计判别函数，例如SVM；      2. generative model，就是先从样本恢复概率模型——例如我们熟悉的参数方法：混合高斯模型GMM;非参数方法Parzen窗。然后再充分挖掘模型，用以分类。例如Bayes最大后验概率准则；或者将模型中的参数当
LDA模型改进
qwy的博客
05-17 7925
这里只是说明模型的概率图，具体实现算法以后研究。文章综述参考Probabilistic topic models （DaviD m. Blei）LDA模型文献参考LDA数学八卦、parameter estimation for text analysis。 思路：类似聚类，认为有一个隐藏的主题作为词标签，对词可分类；此外认为文档中词可交换、文档可交换、主题个数固定且不改变。文档每个词的主题题标生成
数据挖掘之主题模型-LDA浅析
cuilijuan02的博客
08-26 2907
（一）LDA作用         传统判断两个文档相似性的方法是通过查看两个文档共同出现的单词的多少，如TF-IDF等，这种方法没有考虑到文字背后的语义关联，可能在两个文档共同出现的单词很少甚至没有，但两个文档是相似的。         举个例子，有两个句子分别如下：                 “乔布斯离我们而去了。”                 “苹果价格会不会
LDA主题模型浅析 -- 笔记
济舒小柏
10-22 3811
0、前言 LDA是两个常用模型的简称:Linear Discriminant Analiysis 和Latent Dirichlet Allocation. LDA（Latent Dirichlet Allocation）在文本建模中类似于SVD,PLSA等模型,可以用于浅层语义分析,在文本语义分析中是一个很有用的模型. 这个模型涉及到Gamma函数,Dirichlet分布(狄利克雷分布),Dir...
浅析计算机文本挖掘技术在网络安全中的应用.pdf
09-20
4. 主题建模：通过LDA等方法发现文本中的隐藏主题。 5. 结果解释：将模型输出转化为人类可理解的形式，如可视化报告。 四、挑战与未来发展方向 尽管文本挖掘在网络安全中有广泛的应用，但仍面临一些挑战，如语义...
LDA 模型介绍
10-19
LDA经典paper 值得一看。We describe latent Dirichlet allocation (LDA), a generative probabilistic model for collections of discrete data such as text corpora. LDA is a three-level hierarchical Bayesian model, in which each item of a collection is modeled as a finite mixture over an underlying set of topics. Each topic is, in turn, modeled as an infinite mixture over an underlying set of topic probabilities. In the context of text modeling, the topic probabilities provide an explicit representation of a document. We present efficient approximate inference techniques based on variational methods and an EM algorithm for empirical Bayes parameter estimation. We report results in document modeling, text classification, and collaborative filtering, comparing to a mixture of unigrams model and the probabilistic LSI model.
LDA(Latent Dirichlet Allocation)主题模型
03-12
这个是LDA的源代码，里面实现了中文分词，以及有实际的数据，我都已经写好了，可以把数据以文件夹的形式读入，方便使用
关于LDA模型
chacha1989的专栏
07-25 742
最近在研究推荐系统，其中有个yi
我是这样一步步理解--主题模型(Topic Model)、LDA(案例代码)
mantch
07-28 3724
文章目录1. LDA模型是什么1.1 5个分布的理解1.2 3个基础模型的理解1.3 LDA模型2. 怎么确定LDA的topic个数？3. 如何用主题模型解决推荐系统中的冷启动问题？4. 参考文献5. 代码实现 1. LDA模型是什么 LDA可以分为以下5个步骤： 一个函数：gamma函数。 四个分布：二项分布、多项分布、beta分布、Dirichlet分布。 一个概念和一个理念：共轭先验和贝叶...
LDA（主题模型）
上帝是个娘们的博客
09-29 600
https://www.cnblogs.com/pinard/p/6831308.html https://www.jianshu.com/p/aed4014b069d https://www.cnblogs.com/yifdu25/p/8099826.html https://www.jianshu.com/p/fa97454c9ffd https://blog.youkuaiyun.com/huagong...
LDA模型介绍
热门推荐
qfikh的博客
11-13 2万+
主题模型 主题模型就是利用大量已知的P(w|d)信息，训练出P(c|d) 和P(w|c)。 LDA模型 LDA（Latent Dirichlet Allocation）是一种文档主题生成模型，也称为一个三层贝叶斯概率模型，包含词、主题 和文档三层结构。所谓生成模型，就是说，我们认为一篇文章的每个词都是通过“文章以一定概率选择了某个主题，并从这个主题中以一定概率选择某个词语”...
通俗易懂的LDA模型
qq_24140919的博客
01-14 1万+
一、LDA模型的概念 什么是LDA模型？ LDA模型是一种无监督的贝叶斯模型，即不需要手工标注训练集。LDA模型也是一种典型的词袋模型，即认为一篇文章由许多个词组成，词与词之间没有先后顺序。 LDA模型的输入为：训练文本，指定主题个数K LDA模型的输出为：每个主题Zk由哪些词组成及每个词的概率 比如：组成主题Z1的前5个词的概率：0.007*"netanyahu" + 0.007*"m...
bert-lda主题模型代码
04-30
### BERT-LDA主题模型实现代码 以下是基于GitHub资源和现有技术的BERT-LDA主题模型实现方法。该部分涵盖了如何利用预训练的BERT模型提取文档嵌入向量，并将其作为输入传递给LDA模型以完成主题建模。 #### 使用BERT提取文本嵌入 为了将BERT与LDA结合，可以先使用BERT生成高质量的文本表示。以下是一个简单的示例代码用于获取BERT嵌入： ```python from transformers import BertTokenizer, BertModel import torch def get_bert_embeddings(texts, model_name='bert-base-uncased'): tokenizer = BertTokenizer.from_pretrained(model_name) model = BertModel.from_pretrained(model_name) embeddings = [] for text in texts: inputs = tokenizer(text, return_tensors="pt", truncation=True, padding=True, max_length=512) with torch.no_grad(): outputs = model(**inputs) embedding = outputs.last_hidden_state[:, 0, :].numpy() # 获取[CLS]标记的隐藏状态 embeddings.append(embedding) return embeddings ``` 此函数会返回每篇文档对应的BERT嵌入[^4]。 #### 结合LDA进行主题建模 一旦获得了BERT嵌入，就可以进一步处理这些嵌入并应用于传统的LDA框架。下面展示了一个简化版流程： ```python from sklearn.decomposition import LatentDirichletAllocation from sklearn.feature_extraction.text import CountVectorizer # 假设我们已经得到了一组经过BERT编码后的文本数据 texts = ["example sentence one", "another example sentence"] # 转化为词频矩阵 vectorizer = CountVectorizer() X = vectorizer.fit_transform(texts) # 初始化LDA模型 lda_model = LatentDirichletAllocation(n_components=5, random_state=42) lda_output = lda_model.fit_transform(X) print(lda_output) # 输出每个样本的主题分布概率 ``` 需要注意的是，在实际操作中可能还需要对BERT嵌入做降维或其他形式的数据转换以便更好地适配到标准LDA算法的要求之中[^5]。 #### GitHub上的相关项目推荐 目前有不少开源项目实现了类似的思路，比如`Bertopic`就是一个非常流行的库，它内部集成了BERT和其他先进的自然语言处理技术来提升传统主题模型的效果。可以在如下链接找到更多细节： https://github.com/MaartenGr/BERTopic 另外还有专门针对中文环境设计的一些解决方案可供参考，例如： https://github.com/ymcui/Chinese-BERT-wwm 以上两个仓库都提供了详尽的例子说明怎样把现代深度学习架构融入经典统计学方法当中去解决复杂的NLP任务问题[^6]。 ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值