朴素贝叶斯原理

• 贝叶斯定理的公式为：

式中，D为待测试数据假设的类别，P(D|h)是h的似然概率，P(h|D)是h的后验概率，P(D)是D的先验概率。

贝叶斯理论提供了一种计算假设后验概率P(h|D)的方法，即后验概率与先验概率和似然概率的乘机成正比。

• 极大后验假设（Maximum A Posteriori，MAP）：定义学习器在候选假设集合H中寻找给定数据D时可能性最大的假设h。确定MAP的方法是用贝叶斯公式计算每个候选假设的后验概率，公式如下：

• 多维属性的联合概率则可以写成：

• 为解决计算时维度过高导致的数据稀疏问题，这里用独立性假设来解决，也就是假设D的属性之间相互独立： 

• 贝叶斯分类器同时考虑了先验概率和似然概率的重要性。它具有以下几个特点：
  • 属性可以离散，也可以连续；
  • 数学基础坚实，分类效率稳定；
  • 对缺失和噪声数据不太敏感；
  • 属性如果不相关，分类效果很好。