机器学习笔记——贝叶斯分类器（III）朴素贝叶斯分类器

属性条件独立性假设

贝叶斯定理：

$$P(c\mid\mathbf{x})=\dfrac{P(c)P(\mathbf{x}\mid c)}{P(\mathbf{x})}$$
此时后验概率$P(c\mid\mathbf{x})$比较难以估计，由于类条件概率$P(\mathbf{x}\mid c)$是所有属性上的联合概率，难以从有限的训练样本中直接估计而得到。

处理方式

假设所有属性相互独立，即每个属性独立地对分类结果产生影响。
基于属性独立性假设

$$P(c\mid\mathbf{x})=\dfrac{P(c)P(\mathbf{x}\mid c)}{P(\mathbf{x})}=\dfrac{P(c)}{P(\mathbf{x})}\Pi_{i=1}^{d}P(x_i\mid c)$$
其中$d$为属性数目，$x_i$为$\mathbf{x}$在第$i$个属性上的取值。
由于对于所有的类别$c$来说$P(\mathbf{x})$相同，
于是上式可以写成：
$$h_{nb}(\mathbf{x})=\mathop{\arg\max}_{c\in\mathcal{Y}}P(c)\Pi_{i=1}^{d}P(x_i\mid c)\tag{A}$$
$A$就是朴素贝叶斯分类器的表达式。

计算先验概率

$P(c)$

$$P(c)=\dfrac{|D_c|}{|D|}$$

$P(x_i\mid c)$

离散属性

$$P(x_i)=\dfrac{|D_{c,x_i}|}{|D|}$$

连续属性

考虑概率密度函数
假定$p(x_i\mid c)\sim\mathcal{N}(\mu_{c,i},\delta^2_{c,i})$其中$(\mu_{c,i},\delta^2_{c,i})$分别式第$c$类样本在属性$i$上取值的均值和方差。

$$P(x_i\mid c)=\dfrac{1}{\sqrt{2\pi}\delta_{c,i}}\exp\left(-\dfrac{(x_i-\mu_{c,j})^2}{2\delta_{c,i}^2}\right)$$

如果某个属性值在训练集中没有某个类同时出现过，则判别可能出现问题。

拉普拉斯修正

为了避免其他属性携带的信息被训练集中未出现的属性值“抹去”，在估计概率值时通常要进行平滑处理。
令$N$表示训练集$D$中可能的类别数，$N_i$表示第$i$个属性可能的取值数。

$$\hat{P}(c)=\dfrac{|D_c|+1}{|D|+N}\\ \hat{P}(x_i\mid c)=\dfrac{|D_{c,x_i}|+1}{|D_c|+N_i}\\ $$