朴素贝叶斯

朴素贝叶斯

朴素贝叶斯是概率框架下实验决策的方法，是基于贝叶斯定理与特征条件独立假设的分类方法。

1､贝叶斯定理：

由图一可知A、X同时发生的概率为：$P(A) * P(X|A)$;
由图二可知A、X同时发生的概率为：$P(X) * P(A|X)$;
所以有:

$$P(A) * P(X|A) = P(X) * P(A|X)$$

可转化为：

$$P(A|X) = \frac{P(X|A)*P(A)}{P(X)}$$

2､朴素贝叶斯定理：

朴素贝叶斯认为各特征之间相互独立，X,Y有可能同时出现，所以有：

$P(X,Y|A) = P(X|A) * P(Y|A)$

所以朴素贝叶斯公式：

$$P(c|x) = \frac{P(c)*P(x|c)}{P(x)} = \frac{P(c)}{P(x)}*\prod_{i=1}^dP(x_i|c)$$

对于连续属性有：

$$P(x_i|c) = \frac{1}{\sqrt{2\pi}*\sigma_{c,i}}*e^{(-\frac{(x_i-\mu_{c,i})^2}{2\sigma_{c,i}^2})}$$

其中$\sigma_{c,i}、\sigma_{c,i}^2$分别是第c类样本在第i个属性上取值的均值和方差。

3､sklearn中的朴素贝叶斯

from sklearn.naive_bayes import MultinomialNB
naive_bayes = MultinomialNB()
naive_bayes.fit(training_data,y_train)