朴素贝叶斯法整理

朴素贝叶斯（naïve Bayes）法是基于贝叶斯定理与特征条件独立假设的分类方法，特征条件独立假设即‘朴素’。

首先是贝叶斯定理：

贝叶斯公式：

先验概率（Prior Probability）：在一个事件发生前，人们根据已有的经验或知识预测该事件发生的概率。

后验概率（Posterior Probability）：在一个事件发生后，人们分析计算导致该事件发生的各种原因的各自概率。（已知结果求原因的概率）

条件概率（Conditional Probability）：事件A发生的情况下事件B发生的概率

 

特征条件独立假设：

条件独立假设等于是说用于分类的特征在类确定的条件下都是条件独立的。

朴素贝叶斯模型

因为分母是一个常数，所以化简为：

朴素贝叶斯法分类时，对给定的输入x，通过学习到的模型计算后验概率分布P（Y=ck|X=x），将后验概率最大的类作为x的类输出。

期望风险最小化原则等价于后验概率最大化原则（使用0-1损失函数推导，详情见《统计学习方法》）

朴素贝叶斯法的参数估计

假设有一个数据集D和一个参数模型θ，极大似然估计的目标是找到使得数据集D出现的概率

P ( D ∣θ)  最大的参数值θ（P (θ∣D)化简后约去定值）。假设数据相互独立，P ( D ∣θ) =θ)取对数，求导取极值点，就得到了要估计的参数。

先验概率的极大似然估计为

条件概率的极大似然估计为

证明

统计学习方法 第四章习题答案_统计学习方法 第四章答案-优快云博客

贝叶斯估计

但是有一个不能忽略的问题就是：在训练集不充分的情况下，缺少某个维度的条件概率时，（例如，如果P ( X ( 1 ) = 1 ∣ Y = 1 ) P(X^{(1)}=1|Y=1)P(X (1)=1∣Y=1)为0的话）那么在预测的时候，将会产生很大的错差。解决这个问题的办法就是在各个估计中加入平滑项，即贝叶斯估计。

条件概率的贝叶斯估计是：

先验概率的贝叶斯估计是：

这个证明好像要用到狄利克雷分布，所以暂时还没写，如果对这篇笔记有什么问题，欢迎交流啊！

朴素贝叶斯算法与贝叶斯估计_朴素贝叶斯和贝叶斯估记-优快云博客

【机器学习算法笔记系列】朴素贝叶斯（NB）算法详解和实战_gaussiannb英文缩写-优快云博客

李航，著. 统计学习方法[M]. 清华大学出版社