[机器学习]概率图模型

本文档记录了《机器学习》第 14 章概率图模型相关内容

概率图模型

模型	有向图/无向图	判别式/生成式
逻辑回归	无向图	判别式
朴素贝叶斯	有向图	生成式
HMM	有向图	生成式
马尔科夫网	无向图	生成式
CRF	无向图	判别式

隐马尔科夫模型

• 生成式模型
• 有向图
• 模型参数
  
  • 初始隐状态概率
  • 隐状态转移概率
  • 隐状态-输出观测概率
• 基本问题
  
  • 评估模型与观测序列的匹配程度：给定模型和观测序列，计算生成观测序列的概率。
  • 根据观测序列推断出隐状态：给定模型和观测序列，寻找最有可能的隐状态序列。
  • 模型参数训练：给定观测序列，调整模型使其最大化观测序列的概率。

马尔科夫随机场

• 生成式模型
• 无向图
  
  • 结点表示变量
  • 边表示依赖关系

势函数（因子）

定义在变量子集上的非负实函数，主要用于定义概率分布函数。

团/极大团

• 团：给定一个结点子集，其中任意两个结点之间都有边连接。
• 极大团：一个团中加入另外任何一个结点都不再形成团，则称为极大团。

• 观测到变量 $x=\{x_1,x_2...,x_n\}$ 的联合概率：

  $$P(x)=\frac{1}{Z}\prod_{Q\in\mathcal{C}}\psi_Q(x_Q)$$

  其中 $\mathcal{C}$ 为团的集合，$\psi(Q)$ 为团 $Q$ 对应的势函数。

  可以寻找极大团集合 $\mathcal{C}^*$ 降低上式复杂程度。

分离集

若从结点集 A 到结点集 B 中任意一个结点，都要经历结点集 C 中的结点，则称 A 和 B 被 C分离，C 即为分离集。

• 全局马尔科夫性：给定任意两个结点集 $x_A$ 和 $x_B$ 的分离集 $x_C$，则这两个结点集条件独立，记为 $x_A\perp x_B|x_C$。
  

  证明很重要！见 P324

• 局部马尔科夫性：给定结点 $v$ 的邻接结点集 $n(v)$，总结点集为 $V$，则有 $x_v\perp x_{V-n(v)-v}|x_{n(v)}$
• 成对马尔科夫性：给定所有其他结点，对于图中任意两个结点 $u$、$v$，如果两个结点之间没有边相连，则有 $x_u\perp x_v|x_{V-u-v}$

势函数的常见定义

为了保证势函数的非负性，常引入指数函数： $$\psi_Q(x_Q)=e^{-H_Q(x_Q)}$$ 其中 HQ(xQ)=∑u,v∈Q,u≠vαuv