基于最小概率的贝叶斯公式

贝叶斯决策理论：

贝叶斯决策理论方法的假设：

• 各类别总体的概率分布是已知的
• 要决策分类的类别数是一定的

简单说，就是我们知道有多少个类别，以及每一个类别的概率值

d维特征向量

在连续情况下，假设要识别的对象有d种特征量x1，x2，…，xd，这些特征的所有可能的取值范围构成了d维特征空间，称

        x = [x1，x2，…，xd]T

研究这个的用处？

假设说明：

        假设要研究的分类问题有C个类别 Wi , i=1,2…c;且对应于各个类别Wi出现的先验概率P(Wi)及类条件概率密度函数p(x/Wi)是已知的

现在的情况：

• 如果在特征空间已观察到某一向量下x,

        x=[x1,x2,…,xd]T

那么应该把x分到哪一类去才是最合理呢？

先验概率：

先验概率就是我们每一个已知类别的概率，（比如现在有两种鱼，鲈鱼和鲑鱼，出现鲈鱼的概率P(w1)，出现鲑鱼的概率为P(w2),很明显在这里只有两类：

        P(w1)+P(w2)=1

类条件概率

样本的某一个特征决定这一类别的概率，（因为样本会有很多特征，而我们的每一个特征会在各个类别中占有不同的概率，比如现在光泽度是鱼的一个特征，而不同的鱼对应的光泽度又不同，所以会有p(x|w1）和p(x|w2)之间的区别就是鲈鱼（w1)的光泽度和鲑鱼（w2)的光泽度的区别

决定性的：后验概率

已知：状态先验概率P(ωi)，i=1，2

类条件概率密度p(x|ωi)，i=1，2

利用贝叶斯公式可以得到后验概率：P(wi|x)

基于最小错误率的贝叶斯决策规则为：

• 如果P(w1|x)>P(w2|x),则把x归类与鲈鱼w1;
• 如果P(w1|x)<P(w2|x),则把x归类与鲈鱼w2;
          所以贝叶斯公式的实质就是通过观察某一特征量x把状态的先验概率P( wi )转化为状态的后验概率P( wi|x )。

综上所述，我们的算法已经很清晰了吧。还是比较简单哇，那么怎么写程序呢？

根据贝叶斯公式，算出后验概率最大值，即分入该类（最大值的那一类）就OK了。

在这里我们的先验概率P(wi)肯定是已知的，那么就剩下了类条件概率了，怎么求？
用多元高斯概率密度函数
如图可能更方便看点：

最后按照算后验概率的方法算出来即可。

Wait…基于最小错误率的贝叶斯公式，那最小错误率是啥啊？

        错误率就是我们将这个分错的概率，然后在将这个分错的概率中选择最小的，以P(e)来表示：

所以就有：

可以很明显地看到这只是两个类别的最小错误率的算法，如果有多个类别呢？可能你就会说，那还不简单，同理可得：

但是这样子算的话肯定太麻烦了啊！，所以选择用（1-平均正确分类的概率）就好了啊