模式识别与机器学习 | 概率图模型 | 无向图

无向图模型（马尔科夫随机场）

定义：一个无向图G=(V,E)包含节点集合V和边的集合E，边由点对组成。

还是之前的三个关注点：

1. 概率分布  --->  用于查询/推断
2. 表示  --->  具体实现
3. 条件独立  --->  模型的解释

 

先来看条件独立

3. 条件独立

图分割理论：可以被Given的点分割的点相互独立。

"可达性"

右图，马克科夫包裹：给了所有的邻居，该点和所有点都独立。

 

是否可以把无向图转化为有向图？

* 图表达的独立性是否完全一致 

所以是不能的。

 

1. 概率分布

有向图: 利用 “局部” 参数（条件概率）去表示联合概率
无向图: 是否也可以用条件概率去表示联合?    No -> 存在一致性问题

放弃条件概率
失去局部概率表示
保持独立地任意地选择这些函数的能力
保证所有重要的联合表示可以表示为局部函数的积

 

关键问题: 决定局部函数的定义域
条件独立: 图分隔

团（Clique）
图上的团是一个完全连接的节点子集       --->没有相互独立的节点
局部函数s不应该被定义在超出团的域上

极大团
图的极大团是指那些没法再增加额外点的团，否则就会不满足完全连接的性质
不失一般性，我们可以把局部函数定义到极大团上，以内它包含所有可能的依赖

势函数 (局部参数化)
φxc(xc): 定义在极大团xc上的势函数   (非负实值函数)     ---> 不是概率，类似概率，表示联系

 

2. 表示

原来需要2^6，使用极大团来定义局部概率，更容易刻画。

 

势函数的解释

为什么不用边际概率p(xc)作为势函数？

利用条件独立性进行检验：

一般来说, 势函数既不是条件概率也不是边际概率

将函数表示为一种无约束形式：

无向图模型小结

定义一族概率分布的两种方式:
U1, 通过枚举所有图上极大团的势函数的可能选择
U2, 通过声明图G上的所有条件独立断言

Hammersley-Clifford 定理
U1 和U2 是相同的