PRML Chapter 8. Graphical Models - 8.2.1 Three example graphs

8.2.1 Three example graphs

书中说明了三种基本条件独立的结构

(1) tail-to-tail   (从a，b的角度看，a和b都是c的tail)

如图 Figure 8.15

整个图表示abc的联合概率 p(a,b,c)，此时可以根据图8.15的结构推出 p(a,b,c) = p(a|c)p(b|c)p(c)

如果同时两边对c取边缘概率（marginalizing both sides with respect to c），则可以得到式8.24

通常情况下，式8.24右边那部分是不会等于p(a)*p(b)的，所以a，b是不相互独立的。

但是如果c是作为输入而被已观察到了，情况就变成了图Figure 8.16

此时，整个图如果要关心a，b之间的联合概率的话，就要表示成 p(a,b|c)了，因为c已被观察到，所以a，b之间的联合概率是基于c的条件概率。

所以      因此由这个式子可以看出a，b是关于c条件独立的

(2) head-to-tail  (从a，b的角度看，a是c的head，b是c的tail)

如图 Figure 8.17  变化至  8.18

   ->        

对于图8.17，

两边对c取边缘概率得    所以a，b不独立。

而对于图8.18，可知：

，因此图8.18中a与b相互独立。

(3) head-to-head (从a，b的角度看，a和b都是c的head)

如图8.19变化至8.20

 ->

        对于图8.19，p(a,b,c)=p(a)p(b)p(c|a,b)，两边对c取边缘直接可以得到 p(a,b)=p(a)p(b)，因此这个时候没有观察到c反而倒是a，b相互独立，而如果观察到c呢？就变成了图8.20中的p(a,b|c)=p(a,b,c)/p(c)=p(a)p(b)p(a,b|c)/p(c)，不等于p(a|c)p(b|c)，因此a和b反而不独立。

        由以上三个基本图可以看出，三个随机变量a，b，c的联合概率的分解方法实际上是和它们之间的依存关系有关的，不能随便分解，如果分解成p(a,b,c)=p(a,b|c)p(c)，那么就默认了tail-to-tail这种结构，如果分解成其他，则有其他相应的结构。同样关于a，b，c三者之间的概率，不同结构下，观察到c的情况下，a与b可能独立，也可能不独立！

P377

提供了一个例子，说明head-to-head的情况下，两个图8.20中a，b是如何在已知c的情况下相互影响的。