机器学习算法系列（十三）-朴素贝叶斯分类算法（Naive Bayes Classifier Algorithm）

阅读本文需要的背景知识点：一丢丢编程知识

一、引言

  前面几节介绍了一类分类算法——线性判别分析、二次判别分析，接下来介绍另一类分类算法——朴素贝叶斯分类算法¹ （Naive Bayes Classifier Algorithm/NB）。朴素贝叶斯分类算法在文本分类和自动医疗诊断的领域中有应用到。

二、模型介绍

条件独立²

  在学习朴素贝叶斯分类算法之前，先来看下在概率论中的一个概念——条件独立（conditional independence）

两个随机变量 X 和 Y 在给定第三个随机变量 Z 的情况下条件独立当且仅当它们在给定 Z 时的条件概率分布互相独立，也就是说，给定Z的任一值，X 的概率分布和Y的值无关，Y 的概率分布也和X的值无关。

  根据维基百科中给出的定义，可以表示为如下式子：

$$P(X,Y\mid Z)=P(X\mid Z)P(Y\mid Z)$$

  同时上式又等价于下式，在（1）中Y对 X 的条件概率没有影响，同理在（2）中 X 对 Y 的条件概率也没有影响：

$$\begin{array}{r}P(X\mid Y,Z)=P(X\mid Z)\\ P(Y\mid X,Z)=P(Y\mid Z)\end{array}$$

朴素贝叶斯分类

  同概率分布角度的判别分析一样，也是使用最大后验概率估计。朴素贝叶斯分类算法有一个前提条件——假设各特征变量之间是条件独立的，这也是被称为“朴素”的原因。

（1）假设函数表达式

（2）改写一下，特征变量 x 为 p 维

（3）用贝叶斯定理变换一下

（4）由于分母对最后的结果不影响，不依赖与分类，可以认为是一个常数

（5）根据假设各特征变量之间是条件独立的，所以可以改写成乘积的形式

（6）用连乘符号简化一下

$$\begin{array}{rl}h(x)& =\underset{k}{\mathrm{argmax}}P(k\mid x)\\ & =\underset{k}{\mathrm{argmax}}P\left(k\mid x_1,x_2,\dots ,x_p\right)\\ & =\underset{k}{\mathrm{argmax}}\frac{P(k)P\left(x_1,x_2,\dots ,x_p\mid k\right)}{P\left(x_1,x_2,\dots ,x_p\right)}\\ & =\underset{k}{\mathrm{argmax}}P(k)P\left(x_1,x_2,\dots ,x_p\mid k\right)\\ & =\underset{k}{\mathrm{argmax}}P(k)P\left(x_1\mid k\right)P\left(x_2\mid k\right)\dots P\left(x_p\mid k\right)\\ & =\underset{k}{\mathrm{argmax}}P(k)\end{array}$$