【机器学习】朴素贝叶斯（Naive Bayes）

最新推荐文章于 2024-08-08 11:02:35 发布

养老村村长

最新推荐文章于 2024-08-08 11:02:35 发布

阅读量379

点赞数

分类专栏：机器学习文章标签：机器学习

本文链接：https://blog.youkuaiyun.com/weixin_41456089/article/details/120769785

版权

机器学习专栏收录该内容

9 篇文章

订阅专栏

本文介绍了如何使用贝叶斯公式计算最大后验概率（MAP），探讨了朴素贝叶斯方法中的条件独立性假设，并通过案例解释了这一概念。在实际应用中，当特征X和目标变量Y离散时，可通过穷举方式求解MAP；而在连续情况下，可以采用最大似然估计或优化方法如梯度下降、牛顿法找到后验分布的最优解。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 思想

通过贝叶斯公式，计算最大后验MAP

2. 贝叶斯公式

$P(\theta_{i}|X) = \frac{P(\theta_{i} X)}{P(X)} = \frac{P(X|\theta_{i})P(\theta_{i})}{p(X)}=\frac{P(X|\theta_{i})P(\theta_{i})}{\sum_{i=1}^{N}P(X|\theta_{i})P(\theta_{i})}$

3. 前提假设

朴素贝叶斯之所以称之为"朴素"，原因在于它的前提假设是条件独立性。在数据集中，它假设在已知观测值 $Y$ （我们的预测值）的情况下，各个特征两两相互独立

3.1 公式表达

$P(X_1,X_2, ...,X_N|Y) = P(X_1|Y)P(X_2|Y)...P(X_N|Y)$

3.2 图表达

说明：在已知Y的情况下，X1~XN与Y的链子就会断裂，从而导致X1~XN相互独立。

3.3 案例解释

现我们有如下字段：

智力（ $I$ ）： $i^0$ （低）， $i^1$ （高）

考试成绩（ $G$ ）： $g^1$ （及格）， $g^2$ （良好）， $g^{3}$ （优秀）

高考成绩（ $S$ ）： $s^1$ （低）， $s^2$ （高）

观测值 $Y$ ： $I$

特征 $X$ ： $G,S$

当我们不知道一个人的智力（ $I$ ）时，我们可以通过判断这个人的考试成绩（ $G$ ）来推断这个人的高考成绩（ $S$ ）会如何。但是，当我们知道这个人的智力后， $G$ 和 $S$ 就没有关系了。因为哪怕一个已知高智商的人的考试成绩（ $G$ ）只取得了及格（ $g^1$ ），也不影响我们判断这个人的高考成绩会取得高（ $s^2$ ）。这表明已知I，G对S没有影响，即相互独立。

4. 求解方法

4.1 X和Y离散

老老实实MAP穷举

如：

$y = \mathop{ \arg \max }_{\hat{y}}P(Y|X) =\mathop{ \arg \max }_{\hat{y}} \frac{P(Y)P(X|Y)}{P(X)} = \mathop{ \arg \max }_{\hat{y}}P(Y)P(X|Y) = \mathop{ \arg \max }_{\hat{y}}P(Y)\prod_{i=1}^{N}P(x_i|y)$