Latent Dirichlet allocation

最新推荐文章于 2024-03-23 17:15:34 发布

转载最新推荐文章于 2024-03-23 17:15:34 发布 · 1.2k 阅读

文章标签：

#allocation #each #算法

算法同时被 3 个专栏收录

341 篇文章

订阅专栏

科学计算

326 篇文章

订阅专栏

人工智能

85 篇文章

订阅专栏

本文详细介绍了Latent Dirichlet Allocation (LDA)，一种用于文本数据的主题发现统计模型。LDA能够将文档集合分解为一系列潜在话题，并为每个文档分配话题分布。文中还对比了MCMC与Gibbs Sampling在推理过程中的应用，并简要概述了几种其他主题模型。

Latent Dirichlet allocation

From Wikipedia, the free encyclopedia

In statistics, latent Dirichlet allocation (LDA) is a generative model that allows sets of observations to be explained by unobserved groups that explain why some parts of the data are similar. For example, if observations are words collected into documents, it posits that each document is a mixture of a small number of topics and that each word's creation is attributable to one of the document's topics. LDA is an example of a topic model and was first presented as a graphical model for topic discovery by David Blei, Andrew Ng, and Michael Jordan in 2002.^[1]

来源：http://en.wikipedia.org/wiki/Latent_Dirichlet_allocation

重点介绍了相关的背景知识，比如马尔科夫链（Markov Chain）、条件独立以及判断条件独立的方法，包括马尔科夫毯（Markov Blanket）、贝叶斯球（Bayes Ball）等

重中之重中MCMC和Gibbs Sampling

并对其他几种主题模型进行了简单介绍，包括Author Model, AT（Author-Topic） Model, ACT(Author-Conference-Topic) Model等

希望大家明白Gibbs Sampling方法对inference来是多么简单的一件事情，从而导致非常简单的算法，相对于变分推导（Variational Inference）

现将今天的PPT贴在此处（ LDA.pdf），希望同道者一块探讨。

来源：http://blog.sciencenet.cn/home.php?mod=space&uid=611051&do=blog&id=518407