条件随机场(Conditinal random field)

条件随机场(Conditinal random field, CRF)是给定一组随机变量条件下另一组输出随机变量的条件概率分布模型，其特点是假设输出随机变量构成马尔科夫随机场。即输出变量之间存在成对马尔科夫性，局部马尔可夫性和全局马尔可夫性。成对马尔可夫性：假设$u,v$为无向图$G$中任意两个没有边连接的节点，那么在给定其它剩余节点的条件下随机变量$Y_u,Y_v$是条件独立的。局部马尔可夫性：假设$v$为无向图$G$中任意一个节点，$W$为与$v$有边连接的所有节点，$O$为除$v,W$外的所有节点，那么在给定随机变量组$Y_W$的条件下随机变量$Y_v$与随机变量组$Y_O$是独立的。全局马尔可夫性：设节点集合$A,B$是在无向图$G$中被节点集合$C$分开的任意节点集合，那么给定在给定随机变量组$Y_C$的条件下随机变量组$Y_A$与$Y_B$是独立的。上述成对马尔科夫性，局部马尔可夫性和全局马尔可夫性是相互等价的。
设$X,Y$是随机变量，$P(Y|X)$是在给定$X$的条件下$Y$的条件概率分布。若随机变量$Y$构成一个由无向图$G=(V,E)$表示的马尔科夫随机场，即：

$$P(Y_v|X,Y_W,Y_O)=P(Y_v|X,Y_W)$$
对任意节点 $v$成立，则称条件概率分布 $P(Y|X)$为条件随机场。式中 $W,O$分别表示为与 $v$有边连接的所有节点，为除 $v,W$外的所有节点，即满足局部马尔可夫性。在实际问题中，我们更关心的是如何求其联合概率分布。对概率无向图模型，我们希望将整体的联合概率写成若干子联合概率的乘积形式，即将联合概率进行因子分解，便于模型的学习与计算。一般来说，将概率无向图模型的联合概率分布表示为其最大团上的随机变量的函数的乘积形式。根据Hammersley-Clifford定理，概率无向图模型的联合概率分布 $P(Y)$表示为如下形式：
$$\begin{array}{c} P(Y)=\frac{1}{Z}\prod_C \Psi_C(Y_C)\\ Z=\sum_Y\prod_C \Psi_C(Y_C) \end{array}$$
其中 $C$是无向图的最大团， $Y_C$是 $C$的节点对应的随机变量， $\Psi_C(Y_C)$是 $C$上定义的严格正函数，称为势函数，通常定义为 $\Psi_C(Y_C)=\exp\{-E(Y_C)\}$。根据上式定义，通常也称该模型为对数线性模型。下面我们详细讨论该模型以及CRF在计算机视觉领域中的应用。

1. 最大熵模型的关系

最大熵模型基于最大熵原理，认为在学习概率模型时，在所有可能的概率模型(分布)中，熵最大的模型才是最好的模型。直观的，概率模型必须满足已有的事实，即最大熵原理也可表述为在满足约束条件的模型集合中选取熵最大的模型。假设分类模型是一个条件概率分布$P(Y|X)$，$X\in \mathcal{X}$表示输入，$Y\in \mathcal{Y}$表示输出；给定一个训练数据集T={ (xi,y