机器学习---学习与推断，近似推断、话题模型

1. 学习与推断

基于概率图模型定义的分布，能对目标变量的边际分布（marginal distribution）或某些可观测变量

为条件的条件分布进行推断。对概率图模型，还需确定具体分布的参数，称为参数估计或学习问

题，通常使用极大似然估计或后验概率估计求解。单若将参数视为待推测的变量，则参数估计过程

和推断十分相似，可以“吸收”到推断问题中。

假设图模型所对应的变量集x＝｛x1，x2，···，xn｝能分为XE和XF两个不相交的变量集，推断问

题的目标就是计算边际概率p（XF）或者条件概率p（XF｜XE）。同时，由条件概率定义容易有

其中，联合概率p（xF，xE）可基于图模型获得，所以推断问题的关键就在于如何高效计算边际分

布，即

概率图模型的推断方法可以分两类：①精确推断方法：计算出目标变量的边际分布或条件分布的精

确值，一般情况下，该类方法的计算复杂度随极大团规模增长呈指数增长，适用范围有限。

②近似推断方法：在较低的时间复杂度下获得原问题的近似解，在实际问题中更常用。

1.1 精确推断：变量消去

精确推断实质是一种动态规划算法，利用图模型所描述的条件独立性来削减计算目标概率值所需的

计算量。变量消去是最直观的精确推断方法，也是构建其它精确推断算法的基础。

例：计算边缘概率p（x5）

mij（xj）是求加过程中的中间结果，下标 i 表示此项是对 xi 求加的结果，下标 j 表示此项中还剩余

的其它变量；显然，mij（xj）是关于 xj 的函数。

事实上，上述方法对无向图模型同样适用．不妨忽略图14.7（a）中的箭头，将其看作一个无向图

模型，有。

其中Z为规范化因子。边际分布P（x5）可这样计算：

变量消去法实际上是利用了乘法对加法的分配律，将对多个变量的积的求和问题转化为对部分变量

交替进行求积和求和的问题。这种转化使得每次的求和和求积运算被限制在局部，仅和部分变量有

关，从而简化了计算。 

变量消去法有一个明显的缺点：若需计算多个边际分布，