学习笔记——Kaggle_Digit Recognizer (朴素贝叶斯 Python实现）

本文是个人学习笔记，该篇主要学习朴素贝叶斯算法概念，并应用sklearn.naive_bayes算法包解决Kaggle入门级Digit Recognizer。

贝叶斯定理

对于贝叶斯定理的了解和学习大部分都是从概率论开始的，但实际贝叶斯定理应用范围极其广泛，在我们学习贝叶斯定理在算法中的应用前，在复习下其基本概念。

贝叶斯公式：

$$P(A,B) =P(A)*P(B|A)=P(B)*P(A|B)$$

简单转换后，即可得到：

$$P(A|B)=P(A)*P(B|A)/P(B)$$

应用到分类算法中时：这里可以认为A为类别，B为特征

P(A|B)是已知B发生后A的条件概率，也称作A的后验概率（根据样本分布和未知参数的先验概率分布求得的条件概率分布）。

P(A)是A的先验概率或边缘概率（基于主观判断而非样本分布的概率分布），称作”先验”是因为它不考虑B因素。

P(B|A)是已知A发生后B的条件概率，也称作B的后验概率，这里称作似然度。

P(B)是B的先验概率或边缘概率，这里称作标准化常量。

P(B|A)/P(B)称作标准似然度。

朴素贝叶斯

当然，实际分类问题往往都是多类别多特征的判断，则贝叶斯公式将转化为如下： 类别$A_i$，特征 $B_1，...B_n$

P