贝叶斯网络

参考资料有邹博的机器学习PPT,七月在线第九期的PPT,这篇主要为学习笔记，对学到的内容进行总结与整理。

下面会介绍如下内容

1. 从贝叶斯公式与极大似然估计
2. 贝叶斯网络介绍与公式
3. 三种条件独立图模型
4. 贝叶斯网举例
5. 有向分离分析

从贝叶斯公式与极大似然估计

给定样本$D$，求出一些结论 $A_1,A_2,...,A_n$哪个是最可能的，也就是求 最大的$P(A_i|D)$所对应的 $A_i$，该$A_i$是最有可能的。

$\max P(A_i|D)=\max \frac{P(A_i,D)}{P(D)}=\max \frac{P(D|A_i)P(A_i)}{P(D)}=\max P(D|A_i)P(A_i)$

前两个等号是贝叶斯公式，最后一个等号成立是因为对于任意的$A_i$，分母都是一样而与$A_i$无关。

这里做个大胆的假设，假设取$A_1,,...,A_n$的概率是相等的，那么我们得到：

$\max P(A_i|D)=\max P(D|A_i)P(A_i)->\max P(D|A_i)$

我们要求的是 $\max P(A_i|D)$，实际计算的是 $\max P(D|A_i)$，也就是在不同参数下$P(D)$最大值，这不就是极大似然估计么。

贝叶斯网络

把某个研究系统中涉及的随机变量，根据是否条件独立绘制在一个有向图中 G(V,E)，就形成了贝叶斯网络。

1. 其中每个节点表示随机变量 $V_i$
2. 连接两个节点的箭头表示因果关系，被指向的节点是果，另外一个是因（父节点）
3. 每个节点条件独立分布：$P(V_i|V_{pa(i)})$，$V_{pa(i)}$表示节点$V_i$的父节点。

贝叶斯网的联合分布公式为每个节点的条件概率连乘。

$P(V_1,V_2,...,V_n)=\prod _{i=1,2,...,n}P(V_i|V_{pa(i)})$

$P(a,b,c)=P(c|a,b)P(b|a)P(a)$
显然，上式子是无条件成立的（贝叶斯公式），画成贝叶斯网则是下面的样子。

解释一下，$a$是没有任何箭头指向它的，所以直接写$P(a)$，$b$由$a$指向它，根据定义则认为$a$是$b$父节点，那么$b$该条件概率分布为$P(b|a)$，同样地，$c$同时由$a,b$指向，两者均为父节点，所以$c$节点的概率分为则为$P(c|a,b)$,写在一起就是$P(a,b,c)=P(c|a,b)P(b|a)P(a)$。

补充：$P(a,b,c)=P(c|a,b)P(b|a)P(a)$如果推广到$K$ 个节点则有
$P(x_1,...,x_K)=P(x_K|x_1,...,x_{K-1})...P(x_2|x_1)P(x_1)$

来看下面的贝叶斯网络，尝试写出联合分布$P(x_1,x_2,...,x_7)$

首先考虑节点$x_1,x_2,x_3$,这三个节点都没有箭头指向它们，所以是$P(x_1)，P(X_2)，P(X_3)$；$x_4$均由$x_1,x_2,x_3$所指，所以就是$P(x_4|x_1,x_2,x_3)$；$x_5$则由$x_1,x_3$指向，所以是$P(x_5|x_1,x_3)$，同样地$x_6$的条件概率为$P(x_6|x_4)$，$x_7$的条件概率为$p(x_7|x_4,x_5)$，最后根据公式得到：

$P(x_1,x_2,...,x_7)=P(x_1)P(X_2)P(X_3)P(x_4|x_1,x_2,x_3)P(x_5|x_1,x_3)P(x_6|x_4)p(x_7|x_4,x_5)$

显然贝叶斯网络是非常直观的，那么它主要有什么好处呢，看下面的例子

对于每个节点应该画出概率分布图，上面只写了呼吸困难的条件概率图，它只取决于是否得肺癌，是否有支气管炎，所以一共是2×2个参数，在图中已经列出。同样对于肺癌节点，只取决于是否吸烟，需要两个参数。对于整个图一共需要的参数是1+2+2+4+4=13，即只要13个参数就能求出$P(S,L,B,X,D)$。如果不做分析做出上面的贝叶斯网络，硬着求那么每个节点2种情况，5个节点就是$2^5$情况，需要$2^5$个参数，相差甚远。

贝叶斯网络例子

至今为止其实用了不少不贝叶斯网络了，比如前面学过的朴素贝叶斯，HMM，还有主题模型。

1、朴素贝叶斯作为贝叶斯网络

朴素贝叶斯给了一个很强的假设：给定类别$y$的条件下，特征$x_1,x_2,...,x_m$是条件独立的，对应的贝叶斯网络和公式如下：

2、HMM作为贝叶斯网络

HMM也有两个假设:

1. 齐次马尔可夫假设：任意时刻$t$的状态只与前一时刻$t-1$的状态有关，而与其他时刻状态、观测记忆时刻无关，即:
   $P(i_t|i_{t-1},o_{t-1},...,i_1,o_1)=P(i_t|i_{t-1})$
2. 观测独立性假设： 任意时刻的状态只与该时刻马尔可夫链的状态有关，即：
   $P(o_t|i_T,o_T,...,i_1,o_1)=P(o_t|i_t)$

画成贝叶斯网，以及公式如下：

关于公式是怎么得来的呢，首先$H_1$是没有箭头指向的，所以条件概率就是$P(H_1)$，对于任意的$O_i$都是由$H_i$指向的，所以条件概率是$P(O_i|H_i)$，而对于任意的$H_{i+1}$都是由$H_i$指向的，所以是$P(H_{i+1}|H_i)$，所以最后得到了上面的式子。

通过贝叶斯网络判定条件独立的三种情况

通过贝叶斯网络判定条件独立的三种情况分别为:tail-to-tail，head-to-tail，head-to-head

介绍这三种情况之前，回顾一下随机变量独立和条件独立的公式。

（1）、A,B相互 独立

$P(A,B)=P(A)P(B)$
$P(A|B)=P(A)$ ($A$是否发生与$B$没有任何关系)
$P(B|A)=P(B)$

（2）、A,B 条件独立

$P(A,B|C)=P(A|C)P(B|C)$
$P(A|B,C)=P(A|C)$
$P(B|A,C)=P(B|C)$

1、tail-to-tail

根据图模型得到：$P(a,b,c)=P(c)P(a|c)P(b|c)$
两边同除以$P(c)$得到：$P(a,b|c)=P(a|c)P(b|c)$

所以出在$c$给定情况下，$a,b$的条件独立的。

2、head-to-tail

根据图模型得到：$P(a,b,c)=P(a)P(c|a)P(b|c)$
两边同除以$P(c)$得到：$P(a,b|c)=\frac{P(a)P(c|a)P(b|c)}{P(c)}=\frac{P(c,a)P(b|c)}{P(c)}=P(a|c)P(b|c)$

所以出在$c$给定情况下，$a,b$的条件独立的。

2、head-to-head

根据图模型得到：$P(a,b,c)=P(a)P(b)P(c|a,b)$
两把同时对$c$求和$\sum _{c}P(a,b,c)=\sum _{c}P(a)P(b)P(c|a,b)$
$->P(a,b)=P(a)P(b)$

所以得到，对$c$未知的情况下，$a,b$是相互独立的。

上述情况推广到节点集

若要$A,B$是条件独立的，需要满足有向分离，具体的定义说了可能也听不懂，具体的看下面的例子。

先回答第一个问题：Gas和Radio是独立的吗？

我们将(Radio,Battery，Ignition)看成一个节点,Gas看成一个节点，(Starts,End)看成一个节点，那么这时候这三个节点就满足上面介绍的head-to-head的情况，所以是独立的（大节点独立小节点也是独立的，不需要去考虑大节点的方向）。

给定Battery的话，将Battery看成一个节点，Radio看成一个节点，剩下的看成一个节点，此时满足tail-to-tail的情况，所以是条件独立的。

剩下的图中也给出了答案就不说了。