- 讨论在不确定情况下决策的概率理论框架。在分类中,贝叶斯规则用来计算类的概率。会讨论推广到怎样做出合理的决策将期望风险最小化。
引言
数据来自一个不完全清楚的过程。将该过程作为随机过程建模表明我们缺乏知识,并用概率理论来分析它(也许该过程确定,只是我们没有获取关于它的完全知识的途径)。
我们不能获取的那些额外的数据称为不可观测的变量(unobservable variable),对应的称为可观测的变量。
在此讨论贝叶斯决策,当然应该先介绍一下朴素贝叶斯法了。
朴素贝叶斯法
朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集,首先基于特征条件独立假设学习输入/输出的联合概率分布;然后基于此模型,对给定的输入x,利用贝叶斯定理求出后验概率最大的输出y。
根据贝叶斯定理计算后验概率:
P(Y=ck|X=x)=P(X=x|Y=ck)P(Y=ck)∑kP(X=x|Y=ck)P(Y=ck)
后验概率最大化:
f(x)=argmaxkP(ck|X=x)
定义0-1损失函数(zero-one loss):
λik={0如果 i = k1如果 i ≠k
所有正确的决策没有损失,并且所有错误具有相同的代价。采取工作αi 的风险是
R(αi|x)=∑k=1k(λikP(Ck|x))=∑k≠iP(Ck|x)=1−P(Ci|x)
在一些应用中,错误的决策也许会有很高的代价。一般情况,如果自动系统对它的决策的把握较低,则需要一个更复杂的决策(如人工的)。
一个可能的损失函数如下:
λik={0如果 i = kλ如果 i = K + 11如果 i ≠k