【朴素贝叶斯】Part1——朴素贝叶斯基本原理

最新推荐文章于 2024-11-25 12:08:31 发布

原创

最新推荐文章于 2024-11-25 12:08:31 发布 · 置顶 · 1.1k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习

本文介绍了概率论基本知识，包括条件概率、全概率公式和贝叶斯定理。重点讲解了朴素贝叶斯法的学习与分类原理，包括基本方法、后验概率最大化及其条件独立性假设。此外，还讨论了朴素贝叶斯法的参数估计，如极大似然估计和贝叶斯估计。文章最后提到了朴素贝叶斯在实际应用中的概率公式推导和Python实现。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 概率论基本知识回顾

（1）条件概率：设A，B是两个事件，且P(A)>0，称 $\frac {P(AB)}{P(A)}$ 为在事件A发生的条件下事件B发生的概率。
（2）乘法定理：设P(A)>0，称 $P(AB) = {P(B|A)}{P(A)}$ 为事件A，B同时发生的概率等于事件A发生的概率与事件A发生的条件下事件B发生的概率的乘积。
（3）全概率公式：设B1，B2，…，Bn是样本空间S的一个全划分，则：
$P(A)=P(A\cap S) \\ =P(A\cap(B1\cup B2\cup ...\cup Bn)) \\ =P(A\cap B1)+P(A\cap B2)+...+P(A\cap Bn) \\ =P(A|B1)P(B1)+P(A|B2)P(B2)+...+P(A|Bn)P(Bn)$
（4）贝叶斯定理：根据条件概率的定义，事件 A 发生的条件下事件 B 发生的概率、事件 B 发生的条件下事件 A 发生的概率分别为：
$\frac {P(AB)}{P(A)}$

$\frac {P(AB)}{P(B)}$

结合这两个方程式，我们可以得到：
${P(B|A)}{P(A)} = P(AB) = {P(A|B)}{P(B)}$

上式两边同除以 P(B)，若P(B)>0，我们可以得到贝叶斯定理：
$\frac { {P(B|A)}{P(A)}}{P(B)}$

P(A)是 A 的先验概率，之所以称为“先验”是因为它不考虑任何 B 方面的因素。
P(A|B)是已知 B 发生后 A 的条件概率，也由于得自 B 的取值而被称作 A 的后验概率。
P(B|A)是已知 A 发生后 B 的条件概率，也由于得自 A 的取值而被称作 B 的后验概率。
P(B)是 B 的先验概率，也作标淮化常量（normalizing constant）。
贝叶斯定理可表述为：
后验概率 = (相似度 * 先验概率)/标淮化常量