认识朴素贝叶斯

贝叶斯公式
首先我们从实例来了解贝叶斯公式。某个医院早上收了六个门诊病人，如下表：

症状	职业	疾病
打喷嚏	护士	感冒
打喷嚏	农夫	过敏
头疼	建筑工人	脑震荡
头疼	建筑工人	感冒
打喷嚏	教师	感冒
头疼	教师	脑震荡

现在又来了第七个病人，是一个打喷嚏的建筑工人。请问他患上感冒的概率有多大？
$$\begin{gathered} p(感冒|打喷嚏，建筑工人)=\frac{p(打喷嚏|感冒)\times p(建筑工人|感冒)\times p(感冒)}{p(打喷嚏)\times p(建筑工人)} \\ =\frac{\frac{2}{3}\times \frac{1}{3}\times \frac{1}{2}}{\frac{1}{2}\times \frac{1}{3}}=\frac{2}{3} \end{gathered}$$
因此贝叶斯公式用类别和特征表示为：
$$p(类别|特征)=\frac{p(特征|类别)\times p(类别)}{p(特征)}$$

1. 朴素贝叶斯成立的条件是在类别确定的条件下各个特征之间相互独立，也就是在类别确定的情况下，特征$x_1$的任意取值对特征$x_2$没有影响。因此也就使得下式成立：
   $$p(x|lable)=p(x_1|label)\times p(x_2|label)\times \cdots \times p(x_n|label)$$
2. 在实际应用中，我们需要对数据进行统计得出$p(x_1|label)$，即计算在类别确定的情况下，特征$x_1$出现的次数占该类别样本总量的比值。但当$p(x_i|label)$为0时，会影响后验概率的计算结果，使分类产生偏差。因此需要引入拉普拉斯平滑。
3. 朴素贝叶斯优点是逻辑简单，易于实现。缺点是朴素贝叶斯要求属性间相互独立。当属性间相关性越大，其分类效果也就越差。

参考链接：
1、朴素贝叶斯面试总结
2、机器学习&数据挖掘笔记_16（常见面试之机器学习算法思想简单梳理）