机器学习总结（四）：朴素贝叶斯（Naive Bayes）

（1）基本思想：基于贝叶斯定理与特征条件独立假设的分类方法；首先基于特征条件独立假设学习输入/输出的联合概率分布，然后基于此模型，对给定的输入x,利用贝叶斯定理求出后验概率最大的输出y。

（2）为什么叫“朴素”：对条件概率分布作了条件独立性的假设，因为这是一个较强的假设。

条件独立性假设：

根据贝叶斯定理推导：

（3）为什么要后验概率最大化：等价于期望风险最小化。假设选取0-1损失函数，即分类正确取1，错误取0，这时的期望风险最小化为

（4）先验条件概率的计算方法：

       a.离散分布时：统计训练样本中每个类别出现的频率。若某一特征值的概率为0会使整个概率乘积变为0（称为数据稀疏），这破坏了各特征值地位相同的假设条件。

解决方法一：采用贝叶斯估计（λ=1 时称为拉普拉斯平滑）：

     解决方法二：通过聚类将未出现的词找出系统关键词，根据相关词的概率求平均值。

b.连续分布时：假定其值服从高斯分布（正态分布）。即计算样本均值与方差。

（5）算法问题：实际项目中，概率值往往是很小的小数，连续微小小数相乘容易造成下溢出使乘积为0. 解决方法：对乘积取自然对数，将连乘变为连加。