机器学习之贝叶斯（贝叶斯定理、贝叶斯网络、朴素贝叶斯）

一、概率知识点复习

（1）条件概率

就是事件A在另外一个事件B已经发生条件下的发生概率。条件概率表示为P(A|B)，读作“在B条件下A的概率”。

（2）联合概率

可以简单的理解为事件A与事件B都发生的概率，记为P(AB)或P(A, B)。

此处就有  P(A, B) = P(A|B) * P(B)

若事件A与事件B独立，则有 P(A, B) = P(A) * P(B)，这也说明了此时 P(A|B) = P(A)。

（3）全概率

如果事件B1，B2，B3，…，Bn 构成一个完备事件组，即它们两两互不相容，其和为全集；并且P(Bi)大于0，则对任一事件A有：

P(A)=P(A|B1)*P(B1) + P(A|B2)*P(B2) + ... + P(A|Bn)*P(Bn)

（这里我就只介绍这么多，大家如果对全概率不太理解的可以去补充补充！这点很重要，对后面理解贝叶斯很重要！！今天我重点在讲贝叶斯，所以此处就不在多讲全概率啦~~~后面的例子会涉及到！）

二、贝叶斯定理

我们在生活中经常遇到这种情况：我们可以很容易直接得出P(A|B)，P(B|A)则很难直接得出，但我们更关心P(B|A)，贝叶斯定理就为我们打通从P(A|B)求得P(B|A)的道路。

此处我就给出贝叶斯定理的公式（其推导没必要知道）

（便于大家记忆，可以这样记P(A, B) = P(A|B) * P(B) 且P(A, B) = P(B|A) * P(A)，大家将两式子合并会有P(A|B) * P(B) =  P(B|A) * P(A)）

便于大家记住这个公式在此有必要举个例子：

现有校准过的枪5把，没校准过的3把。现在某人用校准过的枪打靶中靶概率为0.8，用没校准过的枪中靶概率只为0.3。现在已知拿起一把枪打靶中靶了，请问这个枪是校准过的抢的概率？

（分析：直接套用上面的公式，但做P(A)的时候是要用到全概率的！！（全概率的重要性体现出来了~））

                令中靶的事件为A，选中校准过的枪的事件为B1，选中未校准过的抢的事件为B2

                则： P(B1) = 5 / 8        P(B2) = 3 / 8

                         P(A) = P(A|B1)P(B1) + P(A|B2)P(B2) = 49 / 80

                         P(A|B1) = 4 / 5

                上面的都做出来后，你会发现根据贝叶斯定理的公式是不是就可以求出P(B1|A)啦~

                得：      P(B1|A) = P(B1)P(A|B1) / P(A) = 40 / 49

思考：