zxhohai的博客

现实生活中，许多任务涉及多个因素（变量），并且因素之间存在依赖关系。概率图模型（Probabilistic Graphical Model，PGM）为表示、学习这种依赖关系提供了一个强大的框架，概率图模型在形式上由图结构组成，一个节点（node）表示一个或一组随机变量，节点之间的边（edge）表示变量之间的关系。根据图是有向还是无向，概率图模型可以分为两类：第一类使用有向无环图表示变量之间的因果关...

之前学习文本挖掘时已经写过一篇关于主题模型的博客《文本建模之Unigram Model，PLSA与LDA》，前几天小组讨论主题模型时，又重新理解了一遍LDA，有了更深刻的认识，特记录一下。1、Unigram ModelUnigram model是最简单的文本模型，其直接将文本的生成过程看作是从一个词汇表中重复取词的过程。因此只要知道每个词的产生概率，就能计算出一篇文档的产生概率。假设一篇文档由...

在LDA主题模型提出后，其在很多领域都取得了很成功的应用，如生物信息、信息检索和计算机视觉等。但是诸如LDA之类的主题模型，将文档主题视为一组“flat”概率分布，一个主题与另一个主题之间没有直接关系，因此它们能够用于挖掘语料中蕴含的主题，但是无法发现主题之间的关联和层次。对于每一篇文档，主题层次是显而易见的，是一个由粗到细，由宽泛到具体逐渐层层递进，逐渐细化。于是，LDA的作者Blei教授在LD...