朴素贝叶斯分类

参考 《统计学习方法》 李航

朴素贝叶斯

朴素贝叶斯法是基于贝叶斯定理的与特征条件独立假设的分类方法。通过学习输入输出的联合概率分布，进行分类。

基本方法

$P(x,y)$是X和Y的联合概率分布，训练集$T = \{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$由$P(x,y)$独立同分布产生。朴素贝叶斯学习以先验概率分布及条件概率分布（$c_k$表示输出空间的类别）：

$$P(Y=c_k)$$
$$P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},...,X^{(n)}=x^{(n)} |Y=c_k )$$
于是就可以学习到联合概率分布$P(x,y)$，朴素贝叶斯法对条件概率作了独立性假设。条件独立假设等于是说用于分类的特征在类别确定的条件下都是条件独立的，这一假设使得问题简单，但会牺牲一定的分类准确率。可以得到：
$$P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},...,X^{(n)}=x^{(n)} |Y=c_k )\\=\prod_{j=1}^nP(X^{(j)}=x^{(j)}|Y=c_k)$$
对于给定的输入$x$，通过学习得到模型计算后验概率分布为$P(Y=c_k|X=x)$，将后验概率最大的类作为x的类输出。后验概率根据贝叶斯定理与全概率公式计算：
$$P(Y=c_K|X=x)=\frac{P(X=x|Y=c_k)P(Y=c_k)}{\sum_kP(X=x|Y=c_k)P(Y=c_k)}$$
有独立性带入得到： $$y=arg\max _{c_k}P(Y=c_k)\prod_jP(X^{(j)}=x^{(j)}|Y=c_k)$$
即得到了期望风险最小化的贝叶斯准则。

朴素贝叶斯算法步骤总结

用$a_{jl}$表示第j个特征的可能取的第l个值，其中$j=1,2,...,n$,$l=1,2,...,S_j$
1)计算先验概率和条件概率

$$P(Y=c_k)=\frac{\sum_{i=1}^NI(y_i=c_k)}{N}$$
$$P(X^{(j)}=a_{jl}|Y=c_k)=\frac{\sum_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)}{\sum_{i=1}^NI(y_i=c_k)}$$
2)对于给定的实例$x$，计算$P(Y=c_k)\prod_jP(X^{(j)}=x^{(j)}|Y=c_k)$
3)选择后验概率最大的进行分类