朴素贝叶斯 后验概率最大化的含义

朴素贝叶斯法将实例分到后验概率最大化的类中。这等价与期望风险最小化。假设选取的是0-1损失函数，

$$L(y,f(x)) = \begin{cases} 1 & y \neq f(x) \\ 0 & y = f(x) \end{cases}$$
这是期望风险函数为
$$\begin{eqnarray} R_{exp}(f) &=& \int\int_{D_{XY}} L(y,f(x))P(x,y)dxdy \\ &=& \int_{D_{X}}\int_{D_Y}L(y,f(x))P(y|x)P(x)dxdy \\ &=&=\int_{DX} [\int_{D_Y}L(y,f(x))P(y|x)dy] P(x)dx \end{eqnarray}$$
其中，$\int_{D_Y}L(y,f(x))P(y|x)dy$称为在$X=x$时的y的条件期望。

为了使期望风险最小，只需要对每一个$X=x$逐个极小化。

$$\begin{eqnarray} f(x) &= &arg min_{y \in Y} \int_{D_Y}L(y,f(x))P(y|x)dy \\ &=& arg min_{y \in Y} \sum_{k=1}^{K}L(c_{k},f(x))P(c_k|x) \\ &=& arg min_{y \in Y} \sum_{k=1}^{K}P(y \neq c_k | x) \\ &=& arg min_{y\in Y} 1 - P(y = c_k |x) \\ &=& arg max_{y\in Y} P(y=c_k | x) \end{eqnarray}$$

根据期望风险最小化准则就得到了后验概率最大化准则。

$$f(x) = argmin _{c_k} P(c_k | X=x)$$

参考书籍:
《统计学习方法》 李航