14.概率图模型

1. 隐马尔科夫模型
   假定所关心的变量集合为 Y，可观测变量集合为 O，其他变量的集合为 R。
   生成式(generative)模型考虑联合分布 P(Y ，R，O)，
   判别式 (discriminative)模 型考虑条件分布 P(Y， R I O).
   概率图模型是一类用图来表达变量相关关系的概率模型。它以图为表示工具，最常见的是用一个结点表示一个或一组随机变量，结点之间的边表示变量间的概率相关关系，即"变量关系图"。根据边的性质不间，概率图模型可大致分为两类:第一类是使用有向无环图表示变量间的依赖关系，称为有向图模型或贝叶斯网(Bayesian network); 第二类是使用无向图表示变量间的相关关系，称为无向图模型或马尔可夫网(Markov network).
   马尔可夫链，即系统下一时刻的状态仅由当前状态决定，不依赖于以往的任何状态。基于这种依赖关系
   
2. 马尔可夫随机场
   （1）势函数
   下图是一个简单的马尔可夫随机场：
   
   图中的边表示节点之间具有相互关系，这种关系是双向的、对称的。这种相关关系采用势函数进行度量。例如，可以定义如下势函数：
   
   则说明该模型偏好变量x2 与x3 拥有相同的取值，换言之，在该模型中，x2 与x3 的取值正相关。势函数刻画了局部变量之间的相关关系，它应该是非负的函数。为了满足非负性，指数函数常被用于定义势函数：
   
   H(x)是一个定义在变量x 上的实值函数，常见形式为：
   
   其中αuv和βv是需要学习的参数，称为参数估计。

（2）马尔可夫性
马尔可夫随机场是生成式模型，生成式模型最关心的是变量的联合概率分布。假设我们有n个取值为二值随机变量，其取值分布将包含2^n
种可能，因此确定联合概率分布需要2^n-1个参数，这个复杂度通常是我们不能接受的；而另一种极端情况是，当所有变量都相互独立时，只需要n 个参数。因此，我们可能会思考，能不能将联合概率分布分解为一组子集概率分布的乘积呢？那么应该怎么划分子图呢？应该遵循怎样的原则？首先定义马尔可夫随机场中随机变量之间的全局马尔可夫性、局部马尔可夫性和成对马尔可夫性。


成对马尔可夫性（pairwise Markov property）：给定所有其他变量，两个非邻接变量条件独立。这是因为两个节点没有直接路径，并且所有其他路径上都有确定的观测节点，因此这些路径也将被阻隔。