概率图-表示-贝叶斯网络

一、贝叶斯网例子

贝叶斯网是一种经典的概率图模型，它利用有向无环图来刻画属性之间的依赖关系。

首先来看一个的例子，一个学生想要请求教授为其写一封推荐信，推荐信的质量用变量L表示，取值范围为{是,否}。而教授健忘不知道这个学生的名字，所以要查看学生的成绩来确定是否为其写推荐信。学生成绩的取值范围为{A,B,C}，分别对应于g1,g2,g3，而考试的成绩和试题的难度还有智商有关系，他们的取值范围都是两个，还有一个SAT成绩作为辅助评判标准。

试题难度D：{d1(难)，d0(简单)}

智商高低I：{i1(高智商)，i0(低智商)}

成绩G：{A,B,C}

SAT成绩S:{s1(高分)，s0(低分)}

推荐信质量L:{l1(是)，l0（否)}

直接对上面的信息进行建模，写出他们的联合概率分布表，这个联合概率分布表的大小为2*2*3*2*2=48种，可以发现这个数目巨大。假设有K个变量，每一个变量的取值为N个，则最后联合概率分布表的大小为N^K，数目巨大根本无法进行建模。

这个时候需要对上面的联合概率进行化简，首先想到的就是朴素贝叶斯算法中方法，假设各个特征独立，那么联合概率分布就可以写成独立变量的乘积，，这样只需要确定2+2+3+2+2=11个变量就可以了，然而在现实生活中，各个特征独立的假设太强。例如，试题难度越高，取得成绩越高的可能性就越低，这两个变量之间明显不是独立的。所以，这个时候贝叶斯网就出来了。

贝叶斯网利用箭头方向来表示影响关系，如下图所示，试题难度和智商会影响成绩，而成绩的高低会影响推荐信的质量，智商的高低还会影响SAT的分数。这样建模看起来就比较合理。