贝叶斯决策之判别函数和决策面

一、判别函数：

1.1 公式：

 

gi(x)=f(p(wi|x))

其中

f（）：单调递增函数

1.2 决策规则：

 

if  gi(x)>gj(x),∀ i≠j→x∈wi

图示如下：

1.3 常用判别函数：

 

 

二、决策面(Decision Surfaces)

2.1 概念

如果输入的数据是一个LL维空间特征，考虑一个MM分类问题，那么分类器将会把这个LL维空间的特征点分为MM个区域。每个区域显然就属于一个类别，如果输入一个点xx落在第ii个区域，那么xx就属于第ii类。分割成这些区域的边界就称为决策面。（即分割不同类的面（点、线、超平面））

2.2 公式

对于两个相邻的区域RiRi和RjRj来说，如果输入样本xx，我们分别计算该样本属于第ii的概率P(wi|x)P(wi|x)和第jj类的概率P(wj|x)P(wj|x)，并定义函数g(x)=P(wi|x)−P(wj|x)g(x)=P(wi|x)−P(wj|x) , 那么此时g(x)g(x)有如下三种情况。

其中

g(x)=0g(x)=0就是分割 区域RiRi和RjRj的决策面。

2.3 例子（一维）

 

输入：x（一维）       决策函数：p（x|w）        虚线：决策面（即点x0）

• 一维特征空间：决策面时点
• 二维特征空间：决策面时线
• 三维特征空间：决策面时超平面
• 决策区域由决策面决定