朴素贝叶斯算法

一.基本方法

1.给定训练数据集

2.学习先验概率分布

3.学习条件概率分布

4.进行条件独立性假设

条件独立性假设是说用于分类的特征在类确定的条件下都是条件独立的

5.以后验概率最大的类输出

二.参数估计–最大似然

学习意味着估计类的先验概率和条件概率

1.先验概率

2.条件概率

三.算法流程

四.贝叶斯估计

需要指出的是，用极大似然估计存在一个问题：如果训练集中某个类别的数据没有涵盖第 j 维特征的第 l 个取值的话，相应估计的条件概率就是 0，从而导致模型可能会在测试集上的分类产生误差。解决这个问题的办法是在各个估计中加入平滑项：

五.优缺点

1.主要优点

1）朴素贝叶斯模型发源于古典数学理论，有稳定的分类效率。

2）对小规模的数据表现很好，能个处理多分类任务，适合增量式训练，尤其是数据量超出内存时，我们可以一批批的去增量训练。

3）对缺失数据不太敏感，算法也比较简单，常用于文本分类。

2.主要缺点

1） 理论上，朴素贝叶斯模型与其他分类方法相比具有最小的误差率。但是实际上并非总是如此，这是因为朴素贝叶斯模型假设属性之间相互独立，这个假设在实际应用中往往是不成立的，在属性个数比较多或者属性之间相关性较大时，分类效果不好。而在属性相关性较小时，朴素贝叶斯性能最为良好。对于这一点，有半朴素贝叶斯之类的算法通过考虑部分关联性适度改进。

2）需要知道先验概率，且先验概率很多时候取决于假设，假设的模型可以有很多种，因此在某些时候会由于假设的先验模型的原因导致预测效果不佳。

3）由于我们是通过先验和数据来决定后验的概率从而决定分类，所以分类决策存在一定的错误率。

参考：
（1）李航《统计学习方法》
（2）https://blog.youkuaiyun.com/panjiao119/article/details/80311529