第十一章条件随机场.11.1 导论

本课程来自深度之眼，部分截图来自课程视频以及李航老师的《统计学习方法》第二版。
公式输入请参考： 在线Latex公式

前言

任务简介：理解条件随机场和相应的算法。该算法可以用于标注问题。通过学习第1节，了解概率无向图的定义和因子分解形式；了解线性链条件随机场的定义及三种形式；理解条件概率和期望的前向-后向算法；掌握条件随机场的预测算法。通过学习第2节，掌握拟牛顿法；通过学习第3节，掌握条件随机场的矩阵形式。
学习目标：
0.导读视频。
1.理解概率无向图。
2.掌握线性链条件随机场模型参数形式和矩阵形式。
3.掌握条件概率和期望的前向-后向算法。
4.掌握拟牛顿法优化的目标函数。
5.掌握预测的维特比算法。

概率无向图模型

概率图模型：
有向图（贝叶斯网络）
无向图（马尔科夫随机场）
概率无向图模型（probabilistic undirected graphical model），又称为马尔可夫随机场（Markov random field），是一个可以由无向图表示的联合概率分布。
图和无向图的概念在数据结构里面有，不写了。
马尔科夫性：
成对马尔科夫性：设$u$和$v$是无向图$G$中任意两个没有边连接的结点，结点$u$和$v$分别对应随机变量$Y_u$和$Y_v$，。其他所有结点为$O$，对应的随机变量组是$Y_O$。成对马尔可夫性是指给定随机变量组$Y_O$的条件下随机变量$Y_u$和$Y_v$是条件独立的，即：
$$P(Y_u,Y_v|Y_O)=P(Y_u|Y_o)P(Y_v|Y_O)$$

上图中$uv$没有直接边相连。
局部马尔可夫性：设$v\in V$是无向图$G$中任意一个结点，$W$是与$v$有边连接的所有结点，$O$是$v$和$W以$外的其他所有结点。$v$表示的随机变量是$Y_v$，$W$表示的随机变量组是$Y_W$，$O$表示的随机变量组是$Y_O$。局部马尔可夫性是指在给定随机变量组$Y_W$的条件下随机变量$Y_v$与随机变量组$Y_O$是独立的，即：
$$P(Y_v,Y_O|Y_W)=P(Y_v|Y_W)P(Y_O|Y_W)$$
在$P(Y_O|Y_W)>0$时，上式等价于：
$$P(Y_v,Y_O|Y_W)=P(Y_v|Y_W,Y_O)$$

形象理解就是当前节点$v$与被其邻接节点$W$环绕之外的所有节点$O$是相互独立的。

全局马尔科夫性：设结点集合$A$，$B$是在无向图$G$中被结点集合$C$分开的任意结点集合，如图11.2所示。结点集合$A$，$B$和$C$所对应的随机变量组分别是$Y_A$，$Y_B$和$Y_C$。全局马尔可夫性是指给定随机变量组$Y_C$条件下随机变量组$Y_A$和$Y_B$是条件独立的，即
$$P(Y_A,Y_B|Y_C)=P(Y_A|Y_C)P(Y_B|Y_C)$$

意思是将图中圈C内两个随机变量取出，则圈C左边变量与右边变量相互独立。
以上三个马尔科夫性等价。
由此可以给出概率无向图定义：设有联合概率分布$P(Y)$，由无向图$G=(V,E)$表示，在图$G$中，结点表示随机变量，边表示随机变量之间的依赖关系。如果联合概率分布$P(Y)$满足成对、局部或全局马尔可夫性，就称此联合概率分布为概率无向图模型（probability undirected graphical model），或马尔可夫随机场（Markov random field）。

团

图中有边相连的节点称为团，图中拥有最多节点的团称为最大团，注意把团的概念和连通图概念区分开来。
例如下图中有团： { Y 1 , Y 2 } , { Y 1 , Y 3 } , { Y 2 , Y 3 } , { Y 3 , Y 4 } , { Y 2 , Y 4 } , { Y 1 , Y 2 , Y 3 } , { Y 2 , Y 3 , Y 4 } \{Y_1,_Y2\},\{Y_1,_Y3\},\{Y_2,_Y3\},\{Y_3,_Y4\},\{Y_2,_Y4\},\{Y_1,Y_2,Y_3\},\{Y_2,Y_3,Y_4\} {Y1​,Y​2},{Y1​,Y​3},{Y2​,Y​3},{Y3​,Y​4},{Y2​,Y​4},{Y1​,Y2​,Y3​},{Y2​,Y3​,Y4​}，其中最大团是： { Y 1 , Y 2 , Y 3 } , { Y 2 , Y 3 , Y 4 } \{Y_1,Y_2,Y_3\},\{Y_2,Y_3,Y_4\} {Y1​,Y2​,Y3​},{Y2​,Y3​,Y4​}

将概率无向图模型的联合概率分布表示为其最大团上的随机变量的函数的乘积形式的操作，称为概率无向图模型的因子分解（factorization）。例如上图的联合概率分布可以表示为：
$$P(Y)=\frac{1}{Z}{\psi }_1(Y_1,Y_2,Y_3)\cdot {\psi }_2(Y_2,Y_3,Y_4)$$
$\frac{1}{Z}$是归一化因子。
通用形式可以写为：
P ( Y ) = 1 Z ∏ C Ψ C ( Y C ) Z = ∑ Y ∏ C Ψ C ( Y C ) Ψ C ( Y C ) = exp ⁡ { − E ( Y C ) } P(Y)=\cfrac{1}{Z}\prod_C\Psi_C(Y_C)\\ Z=\sum_Y\prod_C\Psi_C(Y_C)\\ \Psi_C(Y_C)=\exp\{-E(Y_C)\} P(Y)=Z1​C∏​ΨC​(YC​)Z=Y∑​C∏​ΨC​(YC​)ΨC​(YC​)=exp{−E(YC​)}
其中，$C$是无向图的最大团，$Y_C$是$C$的结点对应的随机变量，${\Psi }_C(Y_C)$是$C$上定义的严格正函数（势函数或能量函数），乘积是在无向图所有的最大团上进行的。

条件随机场的定义与形式

条件随机场的定义：
设$X$与$Y$是随机变量，$P(Y|X)$是在给定$X$的条件下$Y$的条件概率分布。若随机变量$Y$构成一个由无向图$G=(V,E)$表示的马尔可夫随机场，即
$$P(Y_v|X,Y_w,w\ne v)=P(Y_v|X,Y_w,w\sim v)$$
对任意结点$v$成立，则称条件概率分布$P(Y|X)$为条件随机场。
上式中$v$表示任意一个节点，$w$表示除了$v$的所有节点，$w\sim v$表示所有与$v$直接相连的节点。
该公式表示：对任意一个节点$v$，给定其他所有节点时$v$的分布等于给定与它直接相连的节点时$v$的分布。（实际上就是局部马尔科夫性）
条件随机场的参数化形式：
$$P(y|x)=\frac{1}{Z(x)}\exp \left(\sum _{i,k}{\lambda }_k{t}_k(y_{i-1},y_i,x,i)+\sum _{i,l}{u}_l{s}_l(y_i,x,i)\right)$$
其中$x$相当于马尔科夫里面的观测链，$t_k$为转移特征，$s_l$为状态特征，${\lambda }_k,u_l$表示权值。
$$Z(x)=\sum _y\exp \left(\sum _{i,k}{\lambda }_k{t}_k(y_{i-1},y_i,x,i)+\sum _{i,l}{u}_l{s}_l(y_i,x,i)\right)$$
这里由于图是链式的：

因此最大团的形式是$y_{i-1},y_i$
关于条件随机场的简化形式就不写了，稍微提一下思路，先把${\sum }_{i,k}$中的k分解出去，然后再写成向量相乘的形式，因为：
$$\begin{gathered} a=(x1,y1),b=(x2,y2) \\ a\cdot b=x1x2+y1y2 \end{gathered}$$

条件随机场的相关问题

1.条件随机场的概率计算问题：
利用条件随机场的矩阵形式，计算：$P(Y=y_i|x)$
方法：前向-后向算法
2.条件随机场的学习算法：
求对数线性模型参数$w$
$$P(y|x)=\frac{1}{Z(x)}\exp \sum _{k-1}^K{w}_k{f}_k(y,x)$$
方法：改进的迭代尺度法
拟牛顿法
3.条件随机场的预测算法
标注问题
$$y^{\ast }=arg\underset{y}{\max }{P}_w(y|x)$$
维特比算法（动态规划）

总结

1.概率无向图模型是由无向图表示的联合概率分布。
2.条件随机场是给定输入随机变量X的条件下，输出随机变量Y的条件概率分布模型。
3.线形链条件随机场的概率计算通常利用前向-后向算法。
4.线形链条件随机场的一个重要应用是标注。