将上节的内容进行推广:
增加特征数量,增加需要判断属于的类别的种类,允许有判断类别以外的行为, 通过引入一个更一般的损失函数类替代误差概率。
共c个类别集,共a种可能采取的行为集。
损失函数精确的阐述了每种行为所付出的代价大小,并且用于将概率转换为一种判决。
真正使用过程中,将上一节的X变成x向量。
在计算损失个过程中,每一个类别计算错误的代价是不一样的,所以对于每一种损失都要加上权重。
R(ai|x)成为条件风险,指的是在一个特定模式x下,采取动作ai的损失。具体计算思路是首先,在特征x下,我们需要判断到底应该被分在哪个类,再判断在分到的这个特定类的时候,采取这个行为最终得出一个误差值 。其中特征是固定的,动作是固定的,改变的所属的类。我们需要判断的就是不同的类对结果的加和影响。这样,我们就可以判断在一个特定的特征下,到底选取哪种动作会使得误差最小。
我们最终的目的是使得总风险是最小。在不同条件下选择不同行为是互相不会影响的。所以总风险最小的实现,只要让每一个特征下选择一个最小风险的行为就可以实现了。就得出了P19的(12)。最小化的总风险值称为贝叶斯风险R*,它是可获得的最优的结果。
两类分类问题
在实践中,尽管我们必须通过损失函数的差别对后验概率做调整,但是判决通常是依据最可能的类别状态来决定的。