概率图模型(05): 揭示局部概率模型, 稀疏化网络表示(Structured-CPDs)

局部概率模型（Structured-CPDs）——揭示局部概率结构, 稀疏化网络表示

---

　　本博客中 PGM 系列笔记以 Stanford 教授 Daphne Koller 的公开课 Probabilistic Graphical Model 为主线，并参阅 Koller 著作及其 翻译版对笔记加以补充。博文的章节编号与课程视频编号一致。
　　博文持续更新（点击这里见系列笔记目录页），文中提到的资源以及更多见 PGM 资源分享和课程简介。

---

1 overview

　　本文讨论局部概率模（Structured-CPDs）。探索网络的局部结构（CPDs），理清条件概率分布中父节点变量间的关系，会发现更多好的独立性质，以此稀疏化网络的表示。同时对于连续变量，也避免了全概率分布表难以表达网络联合分布的问题。

1.1 从全局到局部

　　之前都在讨论独立性的全局性质的表示，使得一个高维联合分布能被分解为低维条件概率分布的乘积或因子的乘积$^{注*}$，而一直没有讨论这些因子的表示。
　　注*：即分解为形如 $P(X_1,...X_n)=\prod\limits^n_{i=1}P(X_i|Pa_{X_i}^{\mathcal G})$，单个因子 $P(X_i|Pa_{X_i}^{\mathcal G})$ 称为一个条件概率分布（CPD）或局部概率模型，是变量在其父节点上的 CPD。
　　本文将着眼于分布的局部结构（local sturcture），即这些因子。将详细讨论条件概率分布（CPD, Conditional Probability Distribution），描述一系列的表示并且根据我们可以利用的附加规则考虑它们的应用。由于 CPD 是全局联合分布概率的局部归一化，它比因子的约束更强，所以我们从 CPD 作为切入点进行讨论。

1.2 CPD 的表格表示及其缺陷

1.2.1 用表格表示 CPD

  完全由离散随机变量构成的空间上，形如 $P(X|Pa_{_{X}})$ 的 CPD 可以通过条件概率表格（CPT, Conditional Probability Table）来编码，避免了列出整个联合分布表（full table）。CPT 例如

• 行：作为条件变量的赋值（assigment of appearance that give us）
• 列：未知变量的所有可能赋值列举（explicitly enumeratig all of the entries that correspond to G）

  这样的表格表示十分清晰，但有一定缺陷。比如

1.2.2 难以处理大规模问题

　　现实世界变量太多，变量间关系复杂即父节点太多（设 m 个），每个变量可能的取值很多（设 k 个）。仅一个变量的 CPD 其表格行数为 $O(k^m)$，成指数增长。

1.2.3 忽略 CPD 内在关系

　　可以由父节点 $Pa_{_{X}}$ 取值推出 $X$ 的条件分布 $P(X|Pa_{_{X}})$，但无法由给定 $X$ 反推其父节点的条件分布 $P(Pa_{_{X}}|X)$。

1.3 General CPD

  针对上述两条缺陷，我们希望 CPD 可以对每一个具体的 $x$ 和 $Pa_x$ 指定一个条件概率 $P(x|Pa_x)$，但是不必明确列出所有这样的值。我们应该把 CPD 看作是给定 $x$ 和 $Pa_x$，返回条件概率 $P(x|Pa_x)$ 的一个函数，而不是一个列出每个条件概率的表1。故 CPD 的一般形式如下

• CPD $P(X|y_1,...y_k)$ 明确了当 $Y$ 赋值为 $y_1,...y_k$ 时