贝叶斯网与链式法则的理解

定义

首先给出贝叶斯网络的定义：贝叶斯网络是一个有向无环图（DAG: Direct Acyclic Graph），图的节点表示随机变量X1, X2, …
图中每个节点的条件概率分布（CPD: conditional probability distribution）为

$$P(X_{i}|Par_{G}(X_{i})))=P(X_{i}|X_{1},X_{2},...,X_{n})$$

• 其中$Par_{G}(X_{i})$就表示除了$X_{i}$以外的所有节点。公式中的逗号表示“与”的关系。

是不是不太好理解？不用担心，下面用实例告诉你怎么理解个定义和公式。

一个活生生的贝叶斯网络例子

下图中的有向无环图就是一个贝叶斯网络。

图中一共有5个随机变量：

• Difficulty：表示一门课程的难度
  
  • $d^{0}$表示简单，$d^{1}$表示难
• Intelligence：表示一个学生的智商
  
  • $i^{0}$表示智商一般，$i^{1}$表示智商很高
• Grade：某门课程考试的成绩
  
  • $g^{1}(A)$, $g^{2}(B)$, $g^{3}(C)$分别表示成绩为A，B，C（A表示成绩最好）
• SAT：SAT考试成绩
  
  • $s^{0}$表示低分，$s^{1}$表示高分
• Letter：获得推荐信
  
  • $l^{0}$表示获得一般的推荐信，$l^{1}$表示获得很好的推荐信

从这个图中，我们可以看出

• (1) 某门课程考试成绩G，只与课程的难度D和学生的智商I有关系，即

$$P(G|Par(G)) = P(G|D,I,S,L) = P(G|D,I)$$

由这个结论，可以将贝叶斯网的链式法则简化如下：

$$P(I,D,G,S,L) = P(I)P(D)P(G|I,D)P(S|I)P(L|G)$$

• (2) $P(g^{1}(A)|i^{1},d^{0})=0.9$说明，智商很好（$i^{1}$）的学生，在课程难度很低（$d^{0}$）的情况下，该门课程的考试成绩得A（$g^{1}(A)$）的概率较高（0.9）。

• (3) 聪明的学生（$i^{1}$），在一门简单课程（$d^{0}$）的考试中取得B（$g^{2}(B)$），还在SAT考试中取得高分（$s^{1}$），并且获得一般推荐信（$l^{0}$）的概率，用下式表示

$$P(i^{1},d^{0},g^{2}(B),s^{1},l^{0})=P(i^{1})P(d^{0})P(g^{2}(B)|i^{1},d^{0})P(s^{1}|i^{1})P(l^{0}|g^{2}(B))$$

• (4) 从图中可以看出，D与S是相互独立的事件，即$P(D|S)=P(D)$。表示为$D \perp S$。

理解了这四个点，也就知道贝叶斯网络能表示的内容了。

参考

• 概率图模型：原理与技术。作者：Daphne Koller