《统计学习方法(第二版笔记)》第4章 朴素贝叶斯法

朴素贝叶斯法（naive Bayes）是基于贝叶斯定理与特征条件独立假设的分类方法。朴素贝叶斯法与贝叶斯估计（Bayesian estimation）是不同的概念。

4.1 朴素贝叶斯法的学习与分类

4.1.1 基本方法

设输入空间 $\chi \in R^n$ 为 $n$ 维向量的集合。X 是定义在输入空间 $\chi$ 上的随机变量，Y 是定义在输出空间 Y 上的随机变量，输出空间为类标记集合 { c 1 , c 2 , . . . , c K } \{c_1, c_2,...,c_K\} { c1​,c2​,...,cK​}。 $P(X,Y)$ 是 X 和 Y 的联合概率分布。训练数据集由 $P(X,Y)$ 独立同分布产生。
朴素贝叶斯法通过训练数据集学习联合概率分布 $P(X,Y)$ 。具体地，学习以下先验概率分布及条件概率分布。
先验概率分布：$P(Y=c_k),k=1,2,...,K$
也就是每一类的概率分布情况
条件概率分布：$P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},...,X^{(n)}=x^{(n)}|Y=c_k),k=1,2,...,K$
也就是在某一类的条件下，某一个输入的sample的概率
这样就可以学习到联合概率分布 $P(X,Y)$
朴素贝叶斯法对条件概率分布作了条件独立性的假设。由于这是一个较强的假设，朴素贝叶斯法也由此得名。具体地，条件独立性假设是:$$P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},...,X^{(n)}=x^{(n)}|Y=c_k)=\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k^{})$$
朴素贝叶斯法属于生成模型。条件独立假设等于是说用于分类的特征在类确定的条件下都是条件独立的。
在进行分类时，对给定的输入 x ，通过学习到的模型计算后验概率分布 $P(Y=c_k|X=x)$，将后验概率最大的类做为 x 的类输出。后验概率计算根据贝叶斯定理进行：$$P(Y=c_k|X=x)=\frac{P(X=x|Y=c_k)P(Y=c_k)}{{\sum }_{k}P(X=x|Y=c_k)P(Y=c_k)}$$
将上一个式子带入这个式子就得到：
$$P(Y=c_k|X=x)=$$