女神和吊丝系列：朴素贝叶斯方法朴素在哪?——贝叶斯理论(2)

最新推荐文章于 2024-09-05 23:05:34 发布

方林博士

最新推荐文章于 2024-09-05 23:05:34 发布

阅读量448

点赞数

分类专栏：数学

本文链接：https://blog.youkuaiyun.com/qq_40022670/article/details/118926754

版权

概率论

数学专栏收录该内容

29 篇文章

订阅专栏

在上篇博客《贝叶斯理论(1)》(https://fanglin.blog.youkuaiyun.com/article/details/118889244)中我们讲解了贝叶斯公式的本质就是经验学习，也就是说，通过新发现的证据、现象、表现调整我们对事物的认识。这篇博客讲朴素贝叶斯方法。

贝叶斯公式是讲如果有新证据新现象发生，我们该怎么把事物的先验概率调整为后验概率，如果有两个新证据发生我们又该怎么办呢？朴素贝叶斯方法讲的就是如何处理这种情况。

假设 $P(A)$ 表示女神喜欢吊丝的先验概率， $P(\overline{A})) = 1 - P(A)$ 女神不喜欢吊丝的先验概率， $B_{1}$ 表示女神对你笑了， $B_{2}$ 表示女神跟你说话了。我们的问题是： $P(A/B_{1}B_{2}) = ?$ 即在女神对你笑了且还跟你说话了的情况下，女神喜欢你的概率是多少。

把 $B_{1}B_{2}$ 看成是一个整体，根据《贝叶斯理论(1)》有：

公式(1)：

$P(A/B_{1}B_{2}) = \frac{P(B_{1}B_{2}/A)P(A)}{P(B_{1}B_{2})} = \frac{P(B_{1}B_{2}/A)P(A)}{P(B_{1}B_{2}/A)P(A) + P(B_{1}B_{2}/\overline{A})P(\overline{A})}$

这个公式中未知的是 $P(B_{1}B_{2}/A)$ 和 $P(B_{1}B_{2}/\overline{A})$ 。为了能够计算这两个条件概率，朴素贝叶斯方法做了一个假设： $B_{1}$ 和 $B_{2}$ 的在条件A下的联合概率是相互独立的。也就是说：

公式(2)：

$P(B_{1}B_{2}/A) = P(B_{1}/A)P(B_{2}/A)$

公式(3)：

$P(B_{1}B_{2}/\overline{A}) = P(B_{1}/\overline{A})P(B_{2}/\overline{A})$

我们把这个假设简称为条件独立假设。条件独立概念是相对于独立概念的，两者有很大的相似性。独立，是指两个事物(的发生概率)之间没有联系。既然相互独立，两个事物的联合概率必然等于两个概率的乘积，即如果X与Y独立，则有 $P(XY) = P(X)P(Y)$ 。

与之类似，如果X和Y在条件Z下独立，则有 $P(XY/Z) = P(X/Z)P(Y/Z)$ 。

这就是所谓的条件独立假设，该假设降低了计算条件联合概率的难度。在上例中，根据条件独立假设，我们可以计算出 $P(B_{1}B_{2}/A)$ 和 $P(B_{1}B_{2}/\overline{A})$ ，从而计算出 $P(A/B_{1}B_{2})$ 。这是因为 $P(B_{1}/A)$ 、 $P(B_{2}/A)$ 、 $P(B_{1}/\overline{A})$ 和 $P(B_{2}/\overline{A})$ 的计算或者统计都只涉及到两个因素，而不像 $P(B_{1}B_{2}/A)$ 和 $P(B_{1}B_{2}/\overline{A})$ 涉及到三个因素，统计或者计算困难。不要小看仅仅多了一个因素，其中任意两个因素之间的关系变得非常复杂。比如《三体》中的三体世界，就是因为多了一个恒星，则双恒星和一行星的运动规律全都无法预测了。

假设：

$P(B_{1}/A) = 1$ ，女神喜欢你的情况下百分百会对你笑
$P(B_{2}/A) = 1$ ，女神喜欢你的情况下百分百会跟你说话
$P(B_{1}/\overline{A}) = 0.002$ ，女神不喜欢你的情况下也有一定可能会对你笑比如你像郭德纲一样讲笑话
$P(B_{2}/\overline{A}) = 0.0001$ ，女神不喜欢你的情况下几乎不会跟你说话
$P(A) = 0.0000001$ ，女神喜欢你的先验概率很微小
$P(\overline{A})=1-P(A)=0.9999999$ ，女神不喜欢你的先验概率很大

把这些数据代入公式(2)、(3)，结果再代入公式(1)，得：

$P(A/B_{1}B_{2}) =0.3333$

博客《贝叶斯理论(1)》中说明了女神对你笑表示喜欢你的概率仅有0.00005，现在女神还跟你说话，她喜欢你的概率急剧上升至1/3，虽然仍远远低于0.95这个可置信度，她喜欢你仍然是一件虚无缥缈的事情，但是你至少比其他吊丝幸运333万倍，这就是学过贝叶斯方法和没学过贝叶斯方法的人的区别。证实一件事情的确应该从两个独立的渠道分别求证，结果要靠谱的多。

所以朴素贝叶斯方法的朴素就表现在它的条件独立假设上。如果这个假设明显不成立，则朴素贝叶斯方法就会失效。