机器学习之朴素贝叶斯

最新推荐文章于 2023-11-13 15:41:59 发布

dxt_snow

最新推荐文章于 2023-11-13 15:41:59 发布

阅读量1.1k

点赞数

CC 4.0 BY-SA版权

分类专栏： SDU机器学习实验文章标签：朴素贝叶斯机器学习条件概率 mathlab代码山东大学

本文链接：https://blog.youkuaiyun.com/qq_37665301/article/details/97104162

机器学习之朴素贝叶斯

贝叶斯定理

几个定义

先验概率
先验概率是指根据以往经验和分析得到的概率。在事件发生前，我们根据以往经验所预测的概率。
实例：抛一枚硬币，在抛之前，我们预测P(正面在上) = P(反面在上) = 0.5，这里P(正面在上) 和 P(反面在上) 两个概率都属于先验概率。
联合概率
联合概率是指在多元的概率分布中多个随机变量分别满足各自条件的概率。A条件满足与B条件满足的联合概率表示为P(A∩B)或者P(A,B)。
后验概率
事情已经发生了，事情发生可能由很多因素导致，判断一个因素对此事件发生造成影响的大小的概率。后验概率属于条件概率。
表示形式：P(A|B)，其中A为因素，B为事件。
示例（来自百度百科）
一口袋里有3只红球、2只白球，采用不放回方式摸取，求：
⑴ 第一次摸到红球（记作A）的概率；
⑵ 第二次摸到红球（记作B）的概率；
⑶ 已知第二次摸到了红球，求第一次摸到的是红球的概率。
解：
⑴ P(A)=3/5，这就是先验概率；
⑵ P(B)=P(A)P(B|A)+P(A逆)P(B|A逆)=3/5
⑶ P(A|B)=P(A)P(B|A)/P(B)=1/2，这就是后验概率。
一些公式及联系
⑴ 对任意事件A和B，联合概率：P(A, B) = P(A | B)P(B)
如果A和B事件是相互独立的，则 P(A,B) = P(A) x P(B)。
更一般的公式：P (A₁, A₂, · · · , A_k) = π_k=1ⁿP (A_k | A₁, A₂, · · · , A_k-1)
示例：
P(A₄, A₃, A₂, A₁) = P(A₄| A₃, A₂, A₁)P(A₃ | A₂, A₁)P(A₂ | A₁)P(A₁)
⑵ 后验概率：P(A|B)=P(A, B)/P(B) =P(A | B)P(B)/P(B)

贝叶斯公式

贝叶斯公式

其中P(A|B)是在B发生的情况下A发生的可能性。A₁,A₂…A_n为完备事件组，P(A₁)+P(A₂)+…+P(A_n) = 1。例如P(B) = P(B)(P(A) + P(A逆)) = P(B)P(A) + P(B)P(A逆)。
贝叶斯公式的其他形式及推导

推导：
根据条件概率的定义，在事件B发生的条件下事件A发生的概率
    P(A|B)=P(A∩B)/P(B)
同样地，在事件A发生的条件下事件B发生的概率
    P(B|A)=P(A∩B)/P(A)
整理与合并上述两个方程式，便可以得到
    P(A|B)P(B)=P(A∩B)=P(B|A)P(A)
接着，上式两边同除以P(B)，若P(B)是非零的，我们便可以得到贝叶斯定理的公式表达式：
    P(A|B)=P(B|A)*P(A)/P(B)
显然通过贝叶斯公式我们得到的是P(A | B)，即贝叶斯定理个给我们提供了一个通过求P(B | A)，P(A)，P(B)而求得P(A | B)的途径。