机器学习笔记--常见算法(5)--朴素贝叶斯分类器

朴素贝叶斯分类器

模型评价：

优点：在数据较少的情况下仍然有效，可以处理多类别问题

缺点：对于输入数据的准备方式较为敏感

适用数据类型：标称型数据

贝叶斯决策理论的核心思想：选择具有最高概率的决策

条件概率

计算条件概率的方法

①条件概率计算公式： $p(B|A)=\frac{P(AB)}{P(A)}$

②贝叶斯准则：贝叶斯准则告诉我们如何交换条件概率中的条件与结果。

$$p(c_i|w)=\frac{p(w|c_i)p(c_i)}{p(w)}$$

使用条件概率来分类：

如果$p(c_1|x,y)>p(c_2|x,y)$, 那么属于类别$c_1$

如果$p(c_1|x,y)<p(c_2|x,y)$, 那么属于类别$c_2$

使用贝叶斯准则，可以通过已知的三个概率值来计算未知的概率值。

朴素贝叶斯分类器假设：

①特征之间相互独立。这个假设是朴素贝叶斯分类器中"朴素"(naive)一词的含义

②每个特征同等重要

因为特征之间相互独立，所以，

$$p(w|c_i)=p(w_0|c_i)p(w_1|c_i)\dots p(w_N|c_i)$$

所以，

$$p(c_i|w)=\frac{p(c_i){\prod }_{i=1}^{N}p(w_i|c_i)}{p(w)}$$

因为p(w)是个常数，所以，

$$p(c_i|w)=\propto p(c_i)\prod _{i=1}^{N}p(w_i|c_i)$$

故，$$\hat{c}=arg\underset{c}{\max }P(c)\prod _{i=1}^{N}P(w_i|c)$$