统计学习方法-朴素贝叶斯法-读书笔记

1、前言

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。
对于给定的训练数据集，首先基于特征条件独立假设学习输入输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。
朴素贝叶斯法实际上学习到生成数据的机制，所以属于生成模型。

2、模型

朴素贝叶斯法通过训练数据集学习联合概率分布p(x,y)，具体做法是学习先验概率分布p(y)与条件概率分布p(x,y),条件概率分布有指数及数量的参数，其估计实际是不可行的。故朴素贝叶斯法对条件概率分布作了条件独立性假设
p(X=x|Y=y)=求积p(Xj=xj|Y=y)
联合概率分布p(x,y)=p(y)p(x|y)
根据贝叶斯定理，后验概率最大类定为x类的输出：
p(Y|X)=p(X,Y)/P(X)=P(Y)P(X|Y)/ ΣP(Y)P(X|Y)=arg maxP(Y=y)求积p(Xj=xj|Y=y)

3、算法

3.1极大似然估计

什么是极大似然估计？
通俗意义的话来讲就是根据样本（已知的结果）定好模型（参数未知），反推最有可能的模型参数，就可以确定模型，即根据结果推断参数的过程。
P(Y=ck)=ΣI(yi=ck)/N
P(X=aj|Y=ck)=ΣI(X=aj,Y=ck)/ΣI(yi=ck)
极大似然估计公式推导

3.2贝叶斯估计

用极大似然估计可能会出现所要估计的概率值为0的情况，故采用贝叶斯估计，等价于在随机变量各个取值的频数上赋予一个正数a>0，a=0时为极大似然估计，通常取1，称为拉普拉斯平滑。
P(Y=ck)=(ΣI(yi=ck)+a)/(N+S*a)
当前S为某个属性分类数。
条件概率同理可得。