朴素贝叶斯方法 阅读笔记

朴素贝叶斯方法

《统计学习方法 第二版》 李航

输入空间$\mathcal{X}\subseteq {\mathcal{R}}^n$为$n$维向量的集合，输出空间为类标记集合Y={c1,⋯ ,cK}\mathcal{Y} = \{c_{1}, \cdots, c_{K}\}Y={c1​,⋯,cK​}。输入为特征向量$x\in \mathcal{X}$，输出为类标记$y\in \mathcal{Y}$。$X$是定义在输入空间$\mathcal{X}$上的随机向量，$Y$是定义在输出空间$\mathcal{Y}$上的随机变量。$P(X,Y)$ 是$X$和$Y$的联合概率分布。训练数据集T={(x1,y1),⋯ ,(xN,yN)}T=\{(x_{1}, y_{1}), \cdots, (x_{N},y_{N})\}T={(x1​,y1​),⋯,(xN​,yN​)}由$P(X,Y)$独立同分布产生。

1.参数估计，学习联合概率分布

朴素贝叶斯方法通过训练数据集学习联合概率分布$P(X,Y)$。学习一下先验概率分布以及条件概率分布:

先验概率分布$P(Y=c_k),k=1,2,\cdots ,K$

条件概率分布$P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},\cdots ,X^{(n)}=x^{(n)}|Y=c_k),k=1,2,\cdots ,K$

于是学习到联合概率分布。

这里先验概率的极大似然估计是$P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)}{N},k=1,2,\cdots ,K$

条件概率的极大似然估计是$P(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k,x_i^{(j)}=a_{jl})}{{\sum }_{i=1}^{N}I(y_i=c_k)},j=1,2,\cdots ,n;l=1,2,\cdots ,S_j;k=1,2,\cdots ,K$

其中$S_j$表示第$j$个特征的所有可能取值的个数；$I()$是指示函数，如果为true则=1，否则返回false。

1.2贝叶斯估计

用极大似然估计可能会出现所要估计的概率值为0的情况，这会影响到后验概率的计算即过，使分类产生偏差。解决这个问题的方法是采用贝叶斯估计。具体来说，条件概率的贝叶斯估计是

$P(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k,x_i^{(j)}=a_{jl})+\lambda }{{\sum }_{i=1}^{N}I(y_i=c_k)+S_j\lambda },j=1,2,\cdots ,n;l=1,2,\cdots ,S_j;k=1,2,\cdots ,K$

式中$\lambda \ge 0$。如果$\lambda =1$，这时称为拉普拉斯平滑。同样，先验概率的贝叶斯估计是

$P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)+\lambda }{N+K\lambda },k=1,2,\cdots ,K$

2.预测标签

朴素贝叶斯方法对条件概率分布做了条件独立性的假设。由于这是一个较强的假设，朴素贝叶斯方法也由此得名。具体地，条件独立性假设是

$$P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},\cdots ,X^{(n)}=x^{(n)}|Y=c_k)=\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)$$

条件独立性假设是说用于分类的特征在类确定的条件下都是条件独立的。这一假设使朴素贝叶斯法变得简单，但有时也会牺牲一定的分类准确率。

朴素贝叶斯分类时，对于给定的输入$x$，通过学习到的模型计算后验概率分布$P(Y=c_k|X=x)$，将后验概率最大的类作为$x$的类输出。后验概率根据贝叶斯定理进行：

$P(Y=c_k|X=x)=\frac{P(X=x|Y=c_k)P(Y=c_k)}{{\sum }_{k}P(X=x|Y=c_k)P(Y=c_k)}$

代入条件独立性假设：

$P(Y=c_k|X=x)=\frac{P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_k)}{{\sum }_{k}P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_k)},k=1,2,\cdots ,K$

于是朴素贝叶斯分类器可表示为

$y=f(x)=arg{\max }_{c_k}\frac{P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_k)}{{\sum }_{k}P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_k)}$

注意到上式分母对所有的$c_k$都是相同的，所以

$y=f(x)=arg{\max }_{c_k}P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_k)$

2.2后验概率最大化的含义

等价于期望风险最小化。假设选择0-1损失函数：

KaTeX parse error: No such environment: align at position 25: …)=\left\{\begin{̲a̲l̲i̲g̲n̲}̲ 1, & Y\neq f(X…

式中$f(X)$是分类决策函数。这时，期望风险函数为

$R_{exp}(f)=\mathbb{E}[L(Y,f(X))]$

期望是对联合概率$(X,Y)$取的。由此取条件期望

$R_{exp}(f)={\mathbb{E}}_X{\sum }_{k=1}^c[L(c_k,f(X))]P[c_k|X]$

为了使期望风险最小化，只需对$X=x$逐个求极小化，由此得到：

KaTeX parse error: Expected 'EOF', got '&' at position 7: f(x) =&̲ arg\min_{y\in\…

这样期望风险最小化得到了后验概率最大化准则。