模式识别第二章统计决策方法

最新推荐文章于 2022-09-02 17:40:26 发布

godli_one

最新推荐文章于 2022-09-02 17:40:26 发布

阅读量862

点赞数

CC 4.0 BY-SA版权

分类专栏：模式识别

本文链接：https://blog.youkuaiyun.com/qq_24059779/article/details/94647600

模式识别专栏收录该内容

3 篇文章

订阅专栏

本文深入探讨贝叶斯决策理论，解析最小错误率与最小风险决策，讲解如何通过后验概率进行决策，以及灵敏度与特异度在评估分类效果中的应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

简单的例子:

判断周杰伦手中的硬币是几毛钱,根据个人的经验,会给出这个事件一个经验判断-称之为先验概率,例如P(一角)=0.4,P(五角)=0.6,那么我们会猜测周杰伦手中的硬币是5角钱的.

如果允许对硬币进行测量重量(仍然不知道物体具体类别,可以增添某些提示信息),当我们知道重量为0.5g的时候为一角钱和五角钱的概率如下P(一角|0.5g)=0.1, P(五角|0.5g)=0.9,那么我们就可以通过增添的一个信息量,把我们误判率限定在0.1.

既然增添了一个信息提示会使得我们的信息增益这么大,那么我们就应该采用这种方法去进行计算,接下来的问题就是这个后验概率如何去算:

$p(w_{i}|x)=\frac{p(x,w_{i})}{p(x)}=\frac{p(x|w_{i})p(w_{i})}{p(x)}$

其中,P(wi)是先验概率,P(x|wi)成为类条件密度,就是当我们需要对所有五毛钱测每一个重量,看一下重量为x的概率为多少.p(x)是两类硬币重量为x的概率密度之和.

Notations:

假设样本 $x \in R^{d}$ 是由d维实数特征组成的,即 $x=[x_{1},x_{2},...,x_{d}]^{T}$ ,其中T第是转置符号.

假定要研究的类别有c个,记作 $w_{i},i=1,2...,c$ ,类别数c已知,且各类的先验概率也都已知.另外,还假定各类中的样本的分布密度即类条件密度P(x|wi)是已知的,我们所要做的决策就是,对于某个位置样本x,判断它属于哪一类.

$p(e|x)=\left\{\begin{matrix} & p(w_{2}|x) ,if x \in w_{1}\\ & p(w_{1}|x),if x \in w_{2} \end{matrix}\right.$

如此定义了一个服从同样分布的独立样本上错误率的期望:

$P(e)=\int P(e|x)p(x)dx$

如何理解这个公式,首先这个公式是一个分段函数,e取w1或者w2,当e取w1的时候,就是x在w2空间中对这个式子进行积分,得到的是错误的被分到w1中的概率.当计算这个错误率最小的时候考虑因为P(x)是不变的,那么就使得P(e|x)最小即可,也即正确分类最大.

最小错误率贝叶斯决策:

决策规则:

如果P(w1|x)>P(w2|x),那么x属于第一类w1

$P(w_{i}|x)=\frac{p(x|w_{i})P(w_{i})}{p(x)}=\frac{p(x|w_{i})p(w_{i})}{\sum_{j=1}^{2}p(x|w_{j})p(w_{j})}$

先验概率P(wi)和类条件密度p(x|wi),i=1,2都已知

P16 书中的例子:细胞类别状态的例子很好

最小风险贝叶斯决策:

关心错误率所带来的损失,把正常细胞误判为癌细胞,会给病人带来精神上的负担和不必要的进一步检查,这是一种损失;反之,如果把癌细胞误判为正常细胞,则损失更大,因为这可能会导致病人丧失了宝贵的早期发现癌症的机会,可能会造成影响病人生命的严重后果.最小风险贝叶斯决策就是考虑各种错误造成的损失

Notations:

i).把样本x看做d维随即向量x=[x1,x2,...,xd]^{T}

ii).状态空间 $\Omega$ 由c个可能的状态组成: $\Omega =\{w_{1},w_{2},...,w_{c}\}$

iii).对随机变量x可能采取的决策组成了决策空间,它由k个决策组成: $A=\{\alpha_{1},\alpha_{2},...,\alpha_{k}\}$ ,这里没有假定k=c,这是更一般的情况,比如除了判别为某一类外,对某些样本还可以做出决策,即不能判断属于任何一类;有时也可以在决策时把几类合并为同一大类.