Naive Bayesian(朴素贝叶斯)

本文详细介绍了朴素贝叶斯分类算法的核心概念,包括如何通过训练数据学习联合概率分布,以及如何利用贝叶斯定理进行分类预测。讨论了极大似然估计和贝叶斯估计在概率求解中的应用,以及拉普拉斯平滑的作用。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

朴素贝叶斯是基于贝叶斯定理特征条件独立假设的分类方法。

对于给定的训练数据集,先基于特征条件独立假设学习到输入输出的联合概率分布,然后基于此模型,对于给定的输入x,利用贝叶斯定理输出后验概率最大的输出y。(属于生成模型)


综合来说就是:

1.       由训练数据学习联合概率分布。(会用到条件独立性假设)

2.       利用贝叶斯定理将输入x分到后验概率最大的类y。


具体推导:

1. 由训练数据求解联合概率分布

在这里联合概率分布p(x,y)=p(x|y)*p(y)

其中p(x|y)p(y)这两个概率用极大似然估计或贝叶斯估计来求解。

极大似然估计求解:

 


贝叶斯估计求解:

极大似然估计可能会出现所要估计的概率值为0的情况,这会影响到后验概率的计算结果,是分类产生偏差。贝叶斯估计可以解决这一问题。

            ( 式4-10)

其中Sj指某个特征对应的取不同值的个数。(Sj个a,这一点确定4-10为概率分布。)

K代表K个C(类别)。

注意:上面的式子中求和符号对右面所有式子有效。这就等价于在随机变量各个取值的频数上附加一个正数  ,当 λ=0时就是极大似然估计,常取 λ=1,这时称为拉普拉斯平滑。

注:


 

上式表明式4-10确为一种概率分布。


2. 求得联合概率分布后,利用贝叶斯定理进行分类预测。

贝叶斯定理:

 

注:

其中分母为全概率公式。在这里朴素贝叶斯应用了条件独立性假设,即条件概率

代入上面的式子可以得到后验概率 


在这里我们把后验概率最大的类作为x的输出(等价于期望风险最小化—待理解),即朴素贝叶斯分类器可以表示为 


注:

分母中的求和公式是对右面全部式子起作用的,由此可知分母对所有的Ck都是相同的,因此可以只看分子。即分类器为


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值