贝叶斯决策理论

1、分类的基本思想

给定一个M类的分类任务和一个用特征向量表示的未知样本；

求M个类的后验概率, i=1,2,......M

我们可以认为特征向量表示的样本属于后验概率最大的那一类。

 

2、贝叶斯决策理论

这里以两类的情况为例进行分析，并用表示类别。

 

已知条件：

先验概率：

条件概率密度函数：

注：先验概率和条件概率密度函数在实际应用中都可以通过训练数据求得

 

利用贝叶斯公式求后验概率：

由贝叶斯公式可知：

                                                     

其中是的概率密度函数：

                                          

                 

 

分类规则：

依据贝叶斯分类规则：

  

注：在实际应用中不需考虑贝叶斯公式的分母，因为其取值对于所有的类都是一样的，并不会影响分类结果。