万丈高楼平地起

条件随机场（Conditional Random Field，简称CRF）是一种判别式无向图模型。14.1节提到过，生成式模型是直接对联合分布进行建模，而判别式模型则是对条件分布进行建模。前面介绍的隐马尔可夫模型和马尔可夫随机场都是生成式模型，而条件随机场则是判别式模型。 条件随机场试图对多个变量在给定观测值后的条件概率进行建模。具体来说，若令x={x1,x2,...,xn}x=\{x_1,x_

精确推断方法通常需要很大的计算开销，因此在现实应用中近似推断方法更为常用。近似推断方法大致可分为两大类：第一类是采样（sampling），通过使用随机化方法完成近似；第二类是使用确定性近似完成近似推断，典型代表为变分推断（variational inference）。 1 MCMC采样 在很多任务中，我们关心某些概率分布并非因为对这些概率分布本身感兴趣，而是要基它们计算某些期望，并且还能进一步

14.1 隐马尔可夫模型 机器学习最重要的任务： 根据一些已经观察到的证据（例如训练样本）来对感兴趣的未知变量（例如类别标记）进行估计和推测。 具体来说，假定所关心的变量集合为Y" role="presentation" style="position: relative;">YYY，可观测变量集合为O" role="presentation" style="position: re

基于概率模型定义的联合概率分布，我们能对目标变量的边际分布（marginal distribution）或以某些可观测变量为条件分布进行推断。条件分布我们已经接触很多，例如在隐马尔可夫模型中要估算观测序列x" role="presentation">xxx在给定参数λ" role="presentation">λλ\lambda下的条件概率分布。边际分布则是指对无关变量求和或积分后得

话题模型（topic model）是一族生成式有向图模型，主要用于处理离散型的数据（如文本集合），在信息检索、自然语言处理等领域有广泛应用。隐狄利克雷分配模型（Latent Dirichlet Allocation，简称LDA）是话题模型的典型代表。 我们先来解一下话题模型中的几个概念：词（word）、文档（document）和话题（topic）。具体来说，“词”是待处理数据的基本离散单元，例如