朴素贝叶斯(Naive Bayes)学习总结

最新推荐文章于 2024-05-13 11:28:26 发布

Zero黑羽枫

最新推荐文章于 2024-05-13 11:28:26 发布

阅读量501

点赞数

CC 4.0 BY-SA版权

分类专栏：机器学习文章标签：机器学习朴素贝叶斯 Naive Bayes

本文链接：https://blog.youkuaiyun.com/Zero_HeiYuFeng/article/details/88381028

本文介绍了朴素贝叶斯算法的基本思想，它是生成学习算法的一种，通过对特征X与输出Y的联合概率分布P(X,Y)建模进行预测。算法利用贝叶斯定理和条件独立假设简化计算，适用于多种领域的应用。文章还对比了生成学习与判别学习，讨论了统计学基础，以及算法的预测过程和实例解释。" 121829402,11708446,RabbitMQ消息模型详解与使用,"['消息队列', 'RabbitMQ', 'Java', '后端开发', 'AMQP']

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

朴素贝叶斯算法的基本思想是建立特征 $X$ 与输出 $Y$ 之间的联合概率分布 $P (X, Y)$ ，在对给定的特征进行预测时，通过贝叶斯定理求出所有可能的输出 $P (X ∣ Y)$ ，取其中最大的作为预测结果。其优点是模型简单，效率高，在很多领域有广泛的使用。

生成学习算法与判别学习算法

生成学习算法与判别学习算法是监督学习的两种方式，今天要说的朴素贝叶斯算法是生成算法的一种，而之前讲的逻辑回归与后面将要学习的SVM则是属于判别学习方法，我们首先要搞清楚两种算法的区别。
贴一张图片，我觉得可以很直观的看出两种学习算法的区别。
在这里插入图片描述

对于监督学习来说，我们的目标始终是求出 $P (Y ∣ X)$ ，判别学习算法会直接对 $P (Y ∣ X)$ 进行建模，例如在逻辑回归中 $P(Y∣X;θ)=hθ(x)y(1−hθ(x))1−yP(Y|X;\theta)={h_\theta(x)}^{y}(1-{h_\theta(x)})^{1-y}$ ，当有一组需要预测的样本时，我们可以直接判别出他的输出类别，在图中可以明显看出，实际上判别算法是生成了一条判别边界的，在边界的两边会输出不同结果。生成学习算法是对 $P (X, Y)$ 进行建模，在右图中，并不存在一个判别边界，而是对两类样本分别建模，当有一个红色小三角的输入时，根据条件概率公式分别计算出小三角属于蓝色以及黄色的概率，取较大的那个作为小三角的类别。

统计学理论基础

在了解朴素贝叶斯算法之前，我们需要一些统计学知识作为基础，下面的公式部分摘自《概率论与数理统计》，只是把其中的A，B换成了X，Y以方便理解。

条件概率公式

假设X, Y是两个事件，以下公式表示事件X发生的条件(前提)下，事件Y发生的概率。
$\frac{P(XY)}{P(X)}$

条件概率的链式法则

$P(x1,x2,...,xn)=P(x1)∏i=2nP(xi∣x1,...,xi−1)P(x_1 , x_2, ...,x_n) = P(x_1)\prod_{i=2}^{n}P(x_i|x_1,...,x_{i-1})$

事件相互独立

假设X, Y是两个事件，若满足以下等式则称事件X，Y相互独立。
$P (X Y) = P (X) P (Y)$

全概率公式

如果事件Y1、Y2、Y3…Yn 构成一个完备事件组，即它们两两互不相容，其和为全集，则对任一事件X有
$\sum_{n}^{}{P(X|Y_n)P(Y_n)}$

贝叶斯公式

由条件概率公式可得
$P (X Y) = P (X) P (Y ∣ X) = P (Y) P (X ∣ Y)$
$\frac{P(X|Y)P(Y)}{P(X)}$
将全概率公式带入，即得贝叶斯公式
$P(Yn∣X)=P(X∣Yn)P(Yn)∑nP(X∣Yn)P(Yn)P(Y_n|X) = \frac{P(X|Y_n)P(Y_n)}{\sum_{n}^{}{P(X|Y_n)P(Y_n)}}$