统计学习方法c++实现之三 朴素贝叶斯法

朴素贝叶斯法

前言

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法，这与我们生活中判断一件事情的逻辑有点类似，朴素贝叶斯法的核心是参数的估计，在这之前，先来看一下如何用朴素贝叶斯法分类。

代码地址[https://github.com/bBobxx/statistical-learning/upload,欢迎提问。

基本方法

朴素贝叶斯法必须满足特征条件独立假设，分类时，对给定的输入$x$,通过学习到的模型计算后验概率分布$P(Y=c_i|X=x)$,将后验概率最大的类作为输出，后验概率的计算由贝叶斯定理：

$$P(Y=c_k|X=x)=\frac{P(X=x|Y=c_k)P(Y=c_k)}{{\sum }_{k}P(X=x|Y=c_k)P(Y=c_k)}$$

再根据特征条件独立假设，

P ( Y = c k ∣ X = x ) = P ( Y = c k ) ∏ j P ( X = x ( j ) ∣ Y = c k ) ∑ k P ( Y = c k ) ∏ j P ( X = x ( j ) ∣ Y = c k ) P(Y=c_k|X=x) = \frac{P(Y=c_k)\prod_{j}{P(X=x^{(j)}|Y=c_k)}}{\sum_{k}P(Y=c_k)\prod_{j}P(X=x^{(j)}|Y=c_k)} P(Y=ck​∣X=x)=∑k​P(Y=ck​)∏j​P(X=x(j)∣Y=ck​)P(Y=ck​)∏