朴素贝叶斯法

1.从贝叶斯公式说起

贝叶斯公式又称逆概率公式，定义为：

这个公式的目的是求在B已经发生的情况下反推导致这种情况的$A_j$出现的概率，求这个概率的前提是$P(A_i)$和$P(B|A_i)$能直接求出。在这个式子里面$P(A_i)$被称为先验概率，因为它是事先知道的，$P(B|A_i)$为条件概率，$P(A_j|B)$是后验概率，因为是B发生之后求$P(A_j)$的概率。

2.朴素贝叶斯

先给一组训练数据：

其中$x_1$为$(x_1^{(1)},x_1^{(2)},x_1^{(3)}\cdot \cdot \cdot x_1^{(m)})$,$x_2$为$(x_2^{(1)},x_2^{(2)},x_2^{(3)}\cdot \cdot \cdot x_2^{(m)})$,···$x_N$为$(x_N^{(1)},x_N^{(2)},x_N^{(3)}\cdot \cdot \cdot x_N^{(m)})$,即公有N个样本，每个样本有$m$个特征，此外样本的输出$y$可以分为$k$个类别，即$(c_1,c_2,\cdot \cdot \cdot c_K)$ 。

从样本我们可以学到朴素贝叶斯的先验分布，即$P(Y=c_k)$,学习方法是采用极大似然估计来近似求出$P(Y=c_k)$,简单来说就是用样本中$y=c_k$的概率来近似$P(Y=c_k)$。

接着学习条件概率分布：
$P(X=x|Y=c_k)=P(X_1=x_1,X_2=x_2,\cdot \cdot \cdot X_n=x_n|Y=c_k)$
这是n个维度的条件概率分布，是很难求出的。所以朴素贝叶斯在这里做了一个假设，即$X$的n个维度之间相互独立(朴素贝叶斯和贝叶斯的区别)，这样就可以将上式化简为：
$P(X=x|Y=c_k)=P(X_1=x_1|Y=c_k)P(X_2=x_2|Y=c_k)\cdot \cdot \cdot P(X_n=x_n|Y=c_k)$
这样做大大简化了计算，但会造成准确率下降。计算上面每一项的方法是根据其在样本中出现的概率用极大似然估计来近似。

先验概率和条件概率算完之后就到了后验概率

这里是整个朴素贝叶斯最重要的地方，我们根据训练数据集来近似求出先验概率和条件概率，然后就可以根据这个式子算出后验概率了。再根据朴素贝叶斯的那个假设来对求解过程进行化简：

然后进引出了朴素贝叶斯的分类器：

这个分类器的功能是给其输入一个样本，然后分类器会输出该样本最有可能所属的类别。因为上面式子中分母对所有$c_k$都是相同的，故使$P(Y=c_k|X=x)$最大的分类器只需要分子即可：

3. 算法过程

4.例子