朴素贝叶斯原理

最近在看机器学习方面的看法，写写博客增加一下自己的印象。

1. 朴素贝叶斯原理介绍
2. 后验概率最大化的含义
3. 极大似然估计
4. 贝叶斯估计

---

1、朴素贝叶斯原理介绍

条件独立性假设等于是说用于分类的特征在类确定的条件下都是条件独立的。这一假设使朴素贝叶斯计算起来更加的简单。但有时会牺牲一定的分类准确率。
在介绍贝叶斯之前有几个概念需要弄清楚。

• $X$:训练数据
• $Y$:假设空间
• $y_i$:假设
• 先验概率$P(y_i)$ :假设$y_i$的先验概率（Prior Probability）（即在没有训练数据前假设$y_i$拥有的初始概率）
• 条件概率$P(X=x_i|y_i)$ ：似然度，在假设$y_i$成立的情况下观察到$x_i$的概率
• 后验概率$P(y_i|X)$：后验概率，给定训练数据X是$y_i$成立的概率

贝叶斯定理$P(y_i|X=x_i)=\frac{P(X=x_i|y_i)P(y_i)}{P(X=x_i)}$

• 贝叶斯公式比较重要的一点是，它提供了根据$P(X=x_i|y_i),P(y_i),P(X)$计算后验概率的方法。

朴素贝叶斯分类器：

$$y={\mathrm{argmax}}_{c_k}\frac{P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_k)}{{\sum }_{k}P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_k)}$$

(其中因为对于所有的$c_k$分母都相同，为了计算简单上式中省略了分母)

$$y={\mathrm{argmax}}_{c_k}P(Y=c_k)\prod P(X^{(j)}=x^{(j)}|Y=c_k)$$

2、最大后验概率的意义

在朴素贝叶斯分类算法中，将实例分到后验概率最大的类中。这等价于将期望风险最小化。

3、极大似然估计

在朴素贝叶斯的学习方法中，学习其实就是估计$P(Y=c_k)$和$P(X^{(j)}=x^{(j)}|Y=c_k)$。用极大似然估计法可以估计相应的概率。先验概率$P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)}{N},k=1,2,...,K$
假设朴素贝叶斯一条训练数据的第$j$个特征可能的取值集合为{aj1,aj2,...,ajsj}\{a_{j1},a_{j2},...,a_{js_j}\}{aj1​,aj2​,...,ajsj​​}则：

$P(X^{(j)}=a_{jl})|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)}{{\sum }_{i=1}^{N}I(y_i=c_k)}$

• $j=1,2,...,n(x特征数);$
• $l=1,2,...s_j（特征可能取的值数）;$
• $k=1,2,...,K(分类种类数);$

4、贝叶斯估计

上面介绍了极大似然估计，但极大似然估计可能会出现所要估计的概率值为0的情况。这是会影响后验概率的计算结果，使分类产生误差。避免这一情况的做法是采用贝叶斯估计，具体计算公式如下。

$P_{\lambda }(X^{(j)}=a_{jl})|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)+\lambda }{{\sum }_{i=1}^{N}I(y_i=c_k)+s_j\lambda }$

• $x_i^{(j)}:$第$i$个实例$x_i$的第$j$个特征。
• $a_{jl}:$第$j$个特征的第$l$个取值。

其中$\lambda \ge 0$当$\lambda =0$就是极大似然估计，当取值为1时就是拉普拉斯平滑（Laplace smoothing）

先验概率的贝叶斯估计：

$P_{\lambda }(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)+\lambda }{N+K\lambda }$