机器学习算法总结--朴素贝叶斯

这次需要总结的是朴素贝叶斯算法，参考文章：

• 《统计学习方法》
• 机器学习常见算法个人总结（面试用）
• 朴素贝叶斯理论推导与三种常见模型
• 朴素贝叶斯的三个常用模型：高斯、多项式、伯努利

简介

朴素贝叶斯是基于贝叶斯定理与特征条件独立假设的分类方法。

贝叶斯定理是基于条件概率来计算的，条件概率是在已知事件B发生的前提下，求解事件A发生的概率，即$P(A|B)=\frac{P(AB)}{P(B)}$，而贝叶斯定理则可以通过$P(A|B)$来求解$P(B|A)$：

$$P(B|A) = \frac{P(A|B)P(B)}{P(A)}$$
其中分母 $P(A)$可以根据全概率公式分解为： $P(A)=\sum_{i=1}^n P(B_i)P(A|B_i)$

而特征条件独立假设是指假设各个维度的特征$x_1,x_2,...,x_n$互相独立，则条件概率可以转化为：

$$P(x|y_{k})=P(x_{1},x_{2},...,x_{n}|y_{k})=\prod_{i=1}^{n}P(x_{i}|y_{k})$$
朴素贝叶斯分类器可表示为：

f(x)=argmaxykP(yk|x)=argma