机器学习系列-朴素贝叶斯分类器

贝叶斯分类器

什么是贝叶斯分类器

贝叶斯分类器是一类分类器的总称，这些分类器均以贝叶斯定理为基础，故统称为贝叶斯分类器。这些分类器中最简单的是朴素贝叶斯分类器，它几乎完全按照贝叶斯定理进行分类，因此我们从朴素贝叶斯分类器说起。

贝叶斯定理：

贝叶斯定理是概率论中一个比较重要的定理，在讲解贝叶斯定理之前，首先回顾一下贝叶斯定理的基础：条件概率和全概率公式。

• 条件概率：设$A,B$是两个事件，且$P(A)>0$，称
  $$P(B|A)=\frac{P(AB)}{P(A)}$$
  为在事件$A$发生的情况下事件$B$发生的条件概率。

条件概率很容易理解。一般情况下，概率可以表示为事件所包含的基本事件数（表示为$count(B)$）与样本空间的基本事件数（表示为$count(S)$）之商，即

$$P(A)=\frac{count(B)}{count(S)}$$
当我们在求条件概率时，分母不再是 $count(S)$而是 $count(A\cap S)$，而分子也变成了 $count(A\cap B)$，因此
$$P(B|A)=\frac{count(AB)}{count(AS)}=\frac{count(AB)}{count(A)}$$
因为 $\frac{count(AB)}{count(A)}=\frac{P(AB)count(A)}{P(A)count(A)}$，约去 $count(A)$，就得到了条件概率公式。

• 全概率公式：设试验$E$的样本空间为$S$，$A$为