机器学习之贝叶斯网络

在了解贝叶斯网络之前，需要了解上一篇博文中的熵和相对熵的概念，请读者务必阅读，方便后续内容的理解。

1.这里先补充一下对相对熵应用的一些思考：

假设已知的随机变量P，求相对简单的随机变量Q，使得两者的分布尽可能的接近应该怎么做呢，相信大家都能想到的是相对熵，即P和Q的KL距离，但是这个问题的难点在于相对熵的一个性质：非对称性，那么是将P放在前面还是Q呢？这就不好办了。

这里提供一种思路：假定使用KL(Q||P)，为了让距离最小，则要求在P为0的地方，Q尽量为0。会得到比较“窄”的分布曲线；假定使用KL(P||Q)，为了让距离最小，则要求在P不为0的地方，Q也尽量不为0。会得到比较“宽”的分布曲线；

2.再补充一些基本的概率公式：

a.条件概率公式：

b.全概率公式：

c.贝叶斯公式：

贝叶斯公式的应用：8支步枪中有5支已校准过，3支未校准。一名射手用校准过的枪射击，中靶概率为0.8；用未校准的枪射击，中靶概率为0.3；现从8支枪中随机取一支射击，结果中靶。求该枪是已校准过的概率。

解：

下面开始逐步了解贝叶斯网络。

首先要指出的的朴素贝叶斯假设：1.一个特征出现的概率，与其他特征(条