概率图模型7：推理与流动

1. 推理模式

概率图模型的推理模型有三种分别是：

causal reasoning/因果推理 ：也就是知道了事件的一个原因后，我们会改变对事件结果的预估。

evidential reasoning/证据推理 ：也就是当我们知道了事件的结果后，我们会改变对引发事件的原因的判断。

intercausal reasoning/原因间推理 ：有人翻译为因果间推理，我以为这容易产生误解。intercausal reasoning的意思是，有多个原因导致了某个事件的发生，如果我们已经知道了事件的结果，那么对其中一个原因的观察，会改变我们对另一个原因的判断。

下面以图1.1的贝叶斯网络，逐一进行介绍。

图1.1:一个简单的贝叶斯网络

1.1 causal reasoning

刚才说过，这种推理模式就是知道了事件的一个原因后，我们会改变对事件结果的预估。这是最符合我们人类认知的一种推理模式。例如，在图1.1中，我们可以知道$P(l^1)\approx 0.5$,具体的求法，是根据因子分解的结果：

$$P(L=l^1)=\sum_{D,I,G,S} P(D,I,G,S,L=l^1)=\sum_{D,I,G,S}P(D)P(I)P(G|I,D)P(S|I)P(L=l^1|G)\tag{1.1}$$
同样的，我们也可以求得$P(l^1|i^0)\approx 0.39$：
$$P(L=l^1)=\sum_{D,G,S} P(D,I=i^0,G,S,L=l^1)=\sum_{D,G,S}P(D)P(I=i^0)P(G|I=i^0,D)P(S|I=i^0)P(L=l^1|G)\tag{1.2}$$
类似的，$P(l^1|i^0,d^0)\approx0.51$。如图1.2:

从图1.2中我们可以发现，假如没有任何其他的信息，我们可以认为导师有0.5的可能性给某学生的推荐信为优秀。但是如果我们知道这个学生的智商很低，那么你还会像之前那么肯定导师会给他优秀吗？不会，因为一个学生智商很低，这就意味着，这个学生很可能在grade中成绩不好，因此导师推荐信为优秀的可能性就会降低，变成0.39。现在如果我们又知道，虽然这个学生智商低（因此他很可能grade比较低），但是，这门课难度很高。这样一来，似乎grade比较低也是情有可原的了，因此，当我们知道课程比较难后，我们发现，导师推荐信为优的概率又增加了，变成了0.51。

我们看到，随着我们对原因的认知和了解，我们对事物结果的判断也会发生改变。这种由于知道了原因，而推理结果的过程，就叫做causal reasoning.

1.2 evidential reasoning

这种推理模式也比较符合人们的认知，当我们知道了事件的结果后，我们会改变对引发事件的原因的判断，即由结果来分析原因。

类似于公式$(1.1,1.2)$的方法，你仍然可以从图1.1中，得到下面的这些概率：

在没有任何其他信息的情况下，凭借着以往的经验，我们可能会认为，某门课程考试难度比较难的概率为0.4.现在考完试后，我们找了一个学生的试卷，发现他grade比较低，这样就更加加深了我们对课程比较难的belief（信念），这相当于我们本来还不是特别确信（只有0.4的概率）这门课难，可是现在有一个大活人在这，成绩差，这就是证据啊！因此这件事情让我们更加有信息认为，这课确实很难。因此可以看到概率上升到了0.63.

同样的道理，在没有任何其他信息的情况下，凭借着以往的经验，我们可能会认为，某个学生有0.3的可能性为高智商。可是现在考完试后，我们发现这个学生的grade很低低，这个时候，你就不会像先前那样有底气的认为他高智商了。也就是说这样就更加加深了我们对这个学生是高智商的怀疑态度。因此可以看到概率由0.3下降到了0.08.

通过事情的结果，我们来猜测可能的原因，这种推理模式就叫做evidential reasoning。这也是为什么我们把看到的某次事件的结果叫做证据（evidence)的原因。

1.3 intercausal reasoning

有人翻译为因果间推理，我以为这容易产生误解。intercausal reasoning的意思是，有多个原因导致了某个事件的发生，如果我们已经知道了事件的结果，那么对其中一个原因的观察，会改变我们对另一个原因的判断。所以我把它叫做原因之间的推理。

在图1.4中，我们看到，如果我们已经知道这个学生成绩比较差。那么无论是对课程难度的判断，还是对学生智商的判断，都会因此出现改变。在上一节我们已经说过，这种推理模式叫证据推理。那么，现在来看一下，假如我们已经知道这个学生成绩差。但是这门课的难度相当大，那么，你还会像之前那样，信誓旦旦的跟我说，这个学生智商低吗？

不会的，之前，你之所以信誓旦旦的跟我说这个学生智商低，是因为我们只知道他grade比较低。这是证明他智商低的一个证据。但是现在当我们又额外的知道这门课很难后，这个grade的证明力显然就下降了。因为课程难，别说是他，换做其他人，成绩也很可能会低的。因此我们看到，此时，对这个学生智商的判断，由原来的$P(i^1|g^3)\approx0.08$，上升到了$P(i^1|g^3,d^1)\approx 0.11$。

在我们已经知道事情结果的情况下，事件其中的一个原因会影响到我们对另一个原因的判断。这种由原因推理原因的过程，就叫做intercausal reasoning。

这样说来，我们把它翻译为因果间推理似乎也有道理哦，因为“因”（Difficulty）经“果”（Grade）推到了另一个“因”（Intelligence），所以叫因果间推理。

1.4 综合

接下来，我们看一个综合的例子。

已知Grade=c，这幅图中，Grade到Difficulty是证据推理，difficulty->Grade->intelligence是因果间推理，intelligence到SAT时因果推理。

2. 概率影响的流动

通过第1节的例子的分析，我们发现一件事情会通过网络影响到另一件事情的判断，这种过程叫做概率影响的流动。

首先下面这几个是最能够让我们一下子接受的：

$$X\rightarrow Y\\X\leftarrow Y\\X\rightarrow W \rightarrow Y\\X\leftarrow W \leftarrow Y\\X\leftarrow W \rightarrow Y \tag{2.1}$$
condition on X change our beliefs about Y without observe W

如果你对公式(2.1)这几个结果还有怀疑或者不理解，那么请参考我们之前的图中例子，上面这几个式子依次对应着图中的：

given Grade(X) reason Letter(Y)

given Letter(X) reason Grade(Y)

given Difficulty(X) reason Letter(Y)

given Letter(X) reason Intelligence(Y)

given Grade(X) reason SAT(Y):（当我们知道一个学生成绩优秀时，更有理由相信他智商比较高，从而更有理由认为他在SAT中也会取得好成绩）

还有一种结构叫做$V$形结构：

$$X\rightarrow W\leftarrow Y \tag{2.2}$$
对于这种结构而言，如果我们没有观察到$W$或者$W$的后代结点，那么我们就没有办法从已知的$X$推理到$Y$.这种现象的解释也是很清晰的，例如如果我们不知道学生的成绩，也不知道导师推荐信的等级。那么一门课的难度，和这个学生的智商之间八竿子打不着。但是如果我们知道这个学生的成绩很高，并且课程难度比较大，那么我们就会非常有理由相信，这个学生是高智商的。或者我们不知道成绩，但是我们知道他的导师推荐信是优秀，那么这也说明这个学生grade应该很棒，在这个时候，如果我们知道课程成绩比较难，同样我们也很有理由认为，这个学生智商比较高。

刚才的推理模式，就是我们在第1节说的intercausal reasoning。显然，在intercausal reasoning中，我们必须要知道结果，或者是结果的结果。才有可能从一个原因推导到另一个原因。

因此在$V$形结构中，在没有观测到$W$和$Descendants(W)$的时候，概率影响时不能传导的。

有效迹active trails:

A trail $X_1-\cdots,-X_k$is active given $Z$ if:

– for any v-structure $X_{i-1} \rightarrow X_i \leftarrow X_{i+1}$ we have that $X_i$ or one of its descendants $\in Z$
– no other $X_i$ is in Z