统计学习方法 4-朴素贝叶斯法

朴素贝叶斯法的学习与分类

基本方法

朴素贝叶斯法通过训练数据集学习联合概率分布P(X,Y)。具体地，学习以下先验概率分布及条件概率分布。
先验概率分布：

$$P(Y=c_k),k=1,2,\cdots,K$$
条件概率分布: $$P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},\cdots,X^{(n)}=x^{(n)}|Y=c_k),k=1,2,\cdots,K$$
于是学习到联合概率分布$P(X,Y)$

条件独立性假设：

$$P(X^{(1)}=x^{(1)},\cdots,X^{(n)}=x^{(n)}|Y=c_k)=\prod_{j=1}^nP(X^{(j)}=x^{(j)}|Y=c_k)$$

朴素贝叶斯法实际上学习到生成数据的机制，所以属于生成模型。条件独立假设等于是说用于分类的特征在类确定的条件下都是条件独立的。

$P(Y=c_k|X=x) =\frac {P(X=x|Y=c_k)P(Y=c_k)} {\sum_k P(X=x|Y=c_k)P(Y=c_k)} =\frac {P(Y=c_k)\prod_jP(X^{j}=x^{j}|Y=c_k)} {\sum_k P(Y=c_k)\prod_jP(X^{j}=x^{j}|Y=c_k)}$

贝叶斯分类器
$y=f(x)=arg max_{c_k} \frac {P(X=x|Y=c_k)P(Y=c_k)} {\sum_k P(X=x|Y=c_k)P(Y=c_k)} =arg max_{c_k} {P(X=x|Y=c_k)P(Y=c_k)}$

后验概率最大化的含义

后验概率最大等价于期望风险最小化。

朴素贝叶斯法的参数估计

极大似然估计

先验概率$P(Y＝c_k)$的极大似然估计是:

$$P(Y=c_k)=\frac {\sum_{i=1}^kI(y_i=c_k)} N,k=1,2,\cdots,K$$

学习与分类算法

贝叶斯估计

条件概率的贝叶斯估计：

$$P_\lambda(X^{(j)=a_{ji}}|Y=c_k)=\frac {\sum_{i=1}^{N}I(x_i^{j}=a_{ji},y_i=c_k)+\lambda}{\sum_{i=1}^{N}I(y_i=c_k)+S_j\lambda}$$

$\lambda=0$,极大似然估计。
$\lambda=1$,拉普拉斯平滑。

先验概率的贝叶斯估计：

$$P(Y=c_k)=\frac {\sum_{i=1}^kI(y_i=c_k)+\lambda} {N+K\lambda}$$

总结

朴素贝叶斯是典型的生成学习方法。生成方法由训练数据得到联合概率分布，再求得后验概率分布。

---

似然函数
概率描述了已知参数时的随机变量的输出结果；似然则用来描述已知随机变量输出结果时，未知参数的可能取值。

• 离散型概率分布
  $L(\theta|x)=p_\theta(x)=P(X=x;\theta)$,此处并非条件概率，因为θ不（总）是随机变量。
• 连续性概率分布
  $L(\theta|x)=f(x;\theta)$,此处并非条件概率，因为θ不（总）是随机变量。