机器学习————朴素贝叶斯

目录

一、朴素贝叶斯概述

1.1 概述

1.2 贝叶斯公式

1.3 先验概率&后验概率

1.4 例子

1.5 拉普拉斯修正

1.6 对数似然防溢出

二、实现

2.1 垃圾邮箱分类

2.1.1 数据集介绍

2.1.2 代码介绍

2.1.3 结果

三、总结

3.1 优点

3.2 缺点

---

一、朴素贝叶斯概述

1.1 概述

朴素贝叶斯算法是一种基于贝叶斯定理和条件独立性假设的分类方法。
其中，朴素贝叶斯的朴素代表属性之间独立。
该算法的核心思想分为两个部分：
首先，基于特征条件独立性假设，算法学习输入和输出的联合概率分布。
然后，利用贝叶斯定理，对于给定的输入特征 x，计算各个输出类别 y 的后验概率。

1.2 贝叶斯公式

贝叶斯公式如下：

 

通俗来讲是以下形式：

而不同类别之间进行大小比较，其分母是相同的因此正比关系如下：

由于朴素贝叶斯的朴素代表属性独立性的假设因此式子也可以改写为这样：

1.3 先验概率&后验概率

先验概率指根据以往经验和分析。在实验或采样前就可以得到的概率。
上文中P(类别)就是先验概率

后验概率指某件事已经发生，想要计算这件事发生的原因是由某个因素引起的概率。
上文中P（类别|特征）就是后验概率

1.4 例子

假设我们现在有两个盒子，分别为红色和蓝色。在红色盒子中放着2个苹果和6个橙子，在蓝色盒子中放着1个橙子和3个苹果，如下图所示：

图中绿色表示苹果，橙色代表橙子。
假设我们每次实验的时候会随机从某个盒子里挑出一个水果，
随机变量B表示挑出的是哪个盒子，并且P(B=blue) = 0.6（蓝色盒子被选中的概率），P(B=red) = 0.4（红色盒子被选中的概率）。
随机变量F表示挑中的是哪种水果，F的取值为"a "和"o "。
假设我们已经得知某次实验中挑出的水果是orange，求这