后验概率最大化和损失风险最小化等价关系的推导

后验概率最大化和损失风险最小化等价关系的推导

个人理解，敬请指正

朴素贝叶斯法将实例分到后验概率最大的类中，也就是对于给定的输入$x=(x^{(1)},x^{(2)},...x^{(n)})$,取决策结果为
$$f(x)=\underset{c_k}{\mathrm{argmax}}P(Y=c_k|X=x),k=1,2,...,K$$
其利用的准则就是后验概率最大化准则

后验概率最大化和期望风险最小化是等价关系，前者可由后者推导而来

推导过程

选择0-1损失函数来评价分类的损失
$$L(Y,f(X))=\{\begin{array}{r}1,Y\ne f(X)\\ 0,Y=f(X)\end{array}$$
此时期望风险函数如下
$$R_{exp}(f)=E[L(Y,f(X))]$$
损失函数中有两个变量$X和Y$,则上述期望风险是联合期望风险。根据离散型的联合期望公式将其展开如下：
$$R_{exp}(f)=\sum _X\sum _{Y}L(Y,f(X))P(Y,X)$$

将联合概率分布$P(X,Y)$展开有
$$R_{exp}(f)=\sum _X(\sum _{Y}L(Y,f(X))P(Y|X))P(X)$$
将Y的所有取值带入有
$$R_{exp}(f)=\sum _X(\sum _{k=1}^{K}L(c_k,f(X))P(c_k|X))P(X)$$
注意到等式右边括号的内容可以看作是一个关于$X$的函数，而再结合括号外面部分可知等式右边实际上在对括号里面的内容关于$X$求期望，于是我们可以把公式转化成下面这样
$$R_{exp}(f)=E_X(\sum _{k=1}^{K}L(c_k,f(X))P(c_k|X))$$

其中${\sum }_{k=1}^{K}L(c_k,f(X)P(c_K|X)$就是在给定某个X的情况下对$L(Y,f(X))$求期望，也就是条件期望

条件期望再对条件求期望就是联合期望

我们的目的是使期望风险$R_{exp}(f)$最小化，也就是${\sum }_{k=1}^{K}L(c_k,f(X))P(c_k|X)$关于X的期望最小

那么我们只需要使给定的每一个$X=x，$${\sum }_{k=1}^{K}L(c_k,f(X=x))P(c_k|X=X)$的值都达到极小，这样最后对$X$求得的期望风险$R_{exp}(f)$就是最小的了

给定$X=x$的条件下，$f(X=x)$也确定为$y$，于是有
$$y=f(x)=\underset{y\in \mathcal{Y}}{\mathrm{argmin}}\sum _{k=1}^{K}L(c_k,y)P(c_k|X=x)$$
分别考虑$c_k$取值等于$y$的情况以及$c_k$取值不等于y的情况，将求和分开有
$$f(x)=\underset{y\in \mathcal{Y}}{\mathrm{argmin}}(\sum _{k=1}^{K}L(c_k,y)P(y=c_k|X=x)+\sum _{k=1}^{K}L(c_k,y)P(y\ne c_k|X=x))$$
又因为在$y=c_k$的情况下，$L(c_k,y)=0$，在$y\ne c_k$时，$L(c_k,y)=1$，则
$$f(x)=\underset{y\in \mathcal{Y}}{\mathrm{argmin}}\sum _{k=1}^{K}P(y\ne c_k|X=x)$$
在$y$给定时，对于不同的$c_k$，能与$y$相等的至多只有一个，则有下式
$$\sum _{k=1}^{K}P(y\ne c_k|X=x)+P(y=c_k|X=x)=1$$
于是
$$\begin{array}{rl}f(x)& =\underset{y\in \mathcal{Y}}{\mathrm{argmin}}\sum _{k=1}^{K}P(y\ne c_k|X=x)\\ & =\underset{y\in \mathcal{Y}}{\mathrm{argmin}}(1-P(y=c_k|X=x))\\ & =\underset{y\in \mathcal{Y}}{\mathrm{agrmax}}P(y=c_k|X=x)\\ & =\underset{c_k\in \mathcal{Y}}{\mathrm{agrmax}}P(c_k|X=x)\end{array}$$
最终我们得到了后验概率最大化的准则
$$f(x)=\underset{c_k}{\mathrm{argmax}}P(Y=c_k|X=x)$$