一文讲明白朴素贝叶斯算法及其计算公式（入门普及）

关注

原创 2025-01-05 22:26:57 1.3k 阅读 AI 写同款· GEO 优化 ›

朴素贝叶斯（Naive Bayes）详解 贝叶斯决策论、朴素贝叶斯原理与算法实现、具体应用。阅读详情

1、贝叶斯算法

贝叶斯定理由英国数学家托马斯·贝叶斯 ( Thomas Bayes) 提出的，用来描述两个条件概率之间的关系。通常，事件A在事件B 发生的条件下与事件 B 在事件 A 发生的条件下，它们两者的概率并不相同，但是它们两者之间存在一定的相关性，并具有以下公式，称之为贝叶斯公式：

对于一般的机器学习算法学习者而言，大家看到这种公式基本上都是在努力回忆那些学过的数学知识，总有一种似曾相识的感觉，但却不能准确理解，为此首先进行复习和回归数学中的那些个事情。

☀什么是条件概率？

条件概率就像是在一个已经有了某种“前提情况”下，去看另一件事情发生的可能性。比如说，你想知道在“今天是下雨天”这个前提条件下，“路上堵车”的概率。“今天是下雨天”就是那个已经发生的事件B，“路上堵车” 就是事件A，我们想求的就是P(A|B)。

☀如何理解2个事件存在一定的相关性？

当我们考虑两个条件概率 $P(A|B)$ 和 $P(B|A)$ 时，它们之间的相关性源于事件A和B本身的内在联系。例如，假设事件A是“一个人患有流感”，事件B是“一个人发烧”。

条件概率是“贝叶斯公式”的关键所在，它也被称为“似然概率”，一般是通过历史数据统计得到.贝叶斯公式可以预测事件发生的概率，两个本来相互独立的事件A和B，发生了某种“相关性”，此时就可以通过“贝叶斯公式”实现预测。

2、朴素贝叶斯算法实现

贝叶斯分类法是个厉害的统计学分类“神器”，它的基础就是贝叶斯定理，在机器学习领域比较受欢迎。简单来说，它主要用于预测一个“物品”属于某一类的可能性有多大，然后根据这个概率来给“物品”分类。

为啥说它是“朴素贝叶斯”呢？因为假定世间万物的各种特征都是自己管自己，互相之间不干扰，就好像每个特征都活在自己的“小世界”里，谁也影响不了谁。比如说判断一个水果是不是苹果，它的颜色、形状、大小这些特征，在朴素贝叶斯看来，彼此没有牵连。

这种“各扫门前雪”的假定，在专业上就叫类条件独立。也就是说，当我们判断某个属性值对确定一个物品属于哪一类有什么影响的时候，朴素贝叶斯觉得这个影响和其他属性值一点关系都没有，就只看这一个属性自己的“表现”，然后依据这个，再结合贝叶斯定理算出概率，完成分类任务。

朴素贝叶斯分类，或简单贝叶斯分类的工作过程如下：
（1）假设有样本数据集D={X1, X2,…,Xn}, 属性变量集为A={A1, A2, A3,…,Ad}，每个数据样本用一个d维的特征向量X={x1, x2, x3,…,xd}表示，类变量为Y有m个类别，记为Y={y1, y2,y 3,…,ym}。

（2）Y的先验概率表示为Pprior=P(Y)。预测样本X的类别，就是求在已知X的条件下，类别是Y的概率，即后验概率，表示为Ppost=P(Y|X)。

☀先验概率，也就是 P_prior指什么？

想象一下我们有一堆水果，里面分成了苹果、香蕉、橙子这些类别。那先验概率P(Y)，就是在我们还没去仔细看每个水果具体长什么样（也就是没考虑具体的特征情况）的时候，单纯从整体上看，某个类别出现的概率。就好比在一堆水果里，我们只知道有多少个是苹果，有多少个是香蕉，有多少个是橙子，然后算出苹果占总水果个数的比例，这个比例就是苹果这个类别的先验概率，其他类别同理。

☀后验概率，也就是 P_post 等于 P(Y|X)指什么？

现在假如我们拿到了一个水果，这个水果有它自己的一些特点，比如它是红色的、圆圆的、个头挺大，这些特点就是样本X代表的特征。这时候我们想知道这个有这些特点的水果它属于哪个类别，比如它是苹果、还是香蕉或者橙子，那就要去求在已经知道它有这些特点（也就是已知X的条件下），它属于某个类别Y的概率，这个概率就是后验概率P(Y|X)。简单说，就是依据这个水果呈现出来的样子，去倒推它最有可能属于哪个类别所对应的概率大小。

（3）根据贝叶斯定理

由于朴素贝叶斯假定各个特征变量之间是相互独立，在给定类别为y的情况下，上式可以进一步表示为下式：

①公式符号定义：X是一个维的特征向量，表示为X={x1, x2, x3,…,xd}，它代表了一个样本的所有特征。Y是类别变量，y是的一个具体取值，代表某一个类别。∏是连乘符号，就像是求和符号∑一样，这里表示从i=1到i=d的所有项相乘。

②条件概率的理解： $P(X|Y=y)$ 是在类别Y为y的条件下，样本具有特征向量X的概率。例如，在判断一封邮件是否是垃圾邮件（Y是邮件类别，y表示垃圾邮件这个类别），X可能是邮件中包含的一些特征，如是否包含特定关键词、发件人地址是否陌生等， $P(X|Y=y)$ 就是在邮件是垃圾邮件的情况下，出现这些特征组合的概率。