朴素贝叶斯分类器 详细解析

目录

1 贝叶斯决策论

1.1 后验概率

1.2 贝叶斯定理

2. 朴素贝叶斯分类算法详解

3.例题分析

4. 朴素贝叶斯分类的优缺点

 

---

1 贝叶斯决策论

贝叶斯决策论（Bayesian decision theory）是概率框架下实施决策的基本方法。对分类任务来说，在所有相关概率都已知的理想情况下，贝叶斯决策轮考虑如何基于这些概率和误判损失来选择最优的类别标记。

1.1 后验概率

P{H0|x}是给定观测值x条件下H0出现的概率,统称为后验概率
For example:

假设一个学校里有60%男生和40%女生。女生穿裤子的人数和穿裙子的人数相等，所有男生穿裤子。一个人在远处随机看到了一个穿裤子的学生。那么这个学生是女生的概率是多少？

使用 贝叶斯定理，事件A是看到女生，事件B是看到一个穿裤子的学生。我们所要计算的是P(A|B)。

P(A)是忽略其它因素，看到女生的概率，在这里是40%

P(A')是忽略其它因素，看到不是女生（即看到男生）的概率，在这里是60%

P(B|A)是女生穿裤子的概率，在这里是50%

P(B|A')是男生穿裤子的概率，在这里是100%

P(B)是忽略其它因素，学生穿裤子的概率，P( ) = P( | )P( ) + P( | ')P( ')，在这里是0.5×0.4 + 1×0.6 = 0.8.

根据贝叶斯定理，我们计算出后验概率P(A|B)

P(A|B)=P(B|A)*P(A)/P(B)=0.25

可见，后验概率实际上就是条件概率。

1.2 贝叶斯定理

要了解贝叶斯分类，必须了解贝叶斯定理，贝叶斯定理离不开条件概率

条件概率定义：

事件A在另外一个事件B已经发生条件下的发生概率。条件概率表示为P（A|B），读作“在B条件下A发生的概率”。

                                                                          

根据文氏图，可以很清楚地看到在事件B发生的情况下，事件A发生的概率就是P(A∩B)除以P(B)，即

                                                                     

所以现在只需求得P(A∩B)的概率

 从A发生的前提下，考虑A∩B概率从B发生的前提下，考虑A∩B概率。

所以可得贝叶斯定理：