第四章 朴素贝叶斯法

1、朴素贝叶斯法（naive Bayes）是基于贝叶斯定理与特征条件独立假设的分类方法。

算法基本思路：

        对于给定的训练数据集，首先基于特征条件假设学习输入/输出的联合概率分布；

        然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。

2、朴素贝叶斯法对条件概率分布作了条件独立性的假设。

3、朴素贝叶斯法实际上学习到生成数据的机制，所以属于生成模型。

4、条件独立假设等于是说用于分类的特征在类确定的条件下都是条件独立的。这一假设使朴素贝叶斯法变得很简单，但有时会牺牲一定的分类准确率。

5、朴素贝叶斯法将实例分到后验概率最大的类中，这等价于期望风险最小化。

6、朴素贝叶斯法：学习意味着估计P(Y = c_{k})P(X^(j) = x^{j} | Y  = c_{k}),可以应用极大似然法估计响应的概率；用极大似然估计可能会出现索要估计的概率值为0的情况。为解决这一问题的方法是采用贝叶斯估计。