垃圾邮件分类-朴素贝叶斯算法

目录

一、贝叶斯公式原理

二、使用朴素贝叶斯进行文档分类

三、Python代码实现

---

一、贝叶斯公式原理

        在基础的概率学中，经典的有求独立事件的概率以及求关联时间的概率，贝叶斯所要解决的问题就是在有条件限制的情况下，求取某一事件发生的概率。

        贝叶斯公式的核心是“条件概率”，譬如 P(B|A)，就表示当 A 发生时，B 发生的概率，如果P(B|A)的值越大，说明一旦发生了 A，B 就越可能发生。两者可能存在较高的相关性。

        条件概率是“贝叶斯公式”的关键所在，那么如何理解条件概率呢？其实我们可以从“相关性”这一词语出发。举一个简单的例子，比如小明和小红是同班同学，他们各自准时回家的概率是 P(小明回家) = 1/2 和 P(小红回家) =1/2，但是假如小明和小红是好朋友，每天都会一起回家，那么 P(小红回家|小明回家) = 1 (理想状态下)。

        条件概率公式：

其中， P(B|A)表示：事件 A 发生的条件下，事件 B 发生的概率

            P(A|B)表示：事件 B 发生的条件下，事件 A 发生的概率

朴素贝叶斯基于各特征之间相互独立，在给定类别为y的情况下，上式可以进一步表示为式：

 

上述两式结合：

对所有的类别P（X）相同，因此最终的朴素贝叶斯表达式: