西瓜书_chapter7_贝叶斯分类器

7.1 贝叶斯决策论

对于分类任务，贝叶斯决策论是在所有相关概率都已知的理想情形下，考虑如何基于概率和误判损失来选择最优的类别标记。
假设有N种可能的类别标记，即Y={ c1,c2,...,cN}Y=\{c_1,c_2,...,c_N\}Y={ c1​,c2​,...,cN​}，${\lambda }_{ij}$是将一个真实标记为$c_j$的样本误分类为$c_i$所产生的损失，那么我们可以基于后验概率来刻画把$x$分类为$c_i$损失期望
$$R(c_i|x)=\sum _{j=1}^N{\lambda }_{ij}P(c_j|x)$$
我们的任务是寻找一个判定准则$h$，来最小化风险
$$R(h)={\mathbb{E}}_x[R(h(x)|x)].$$
贝叶斯判定准则：为了最小化总体风险，只需要在每个样本上选择能使条件风险$R(c|x)$最小的类别标记，即
$$h^{\ast }(x)=\underset{c\in y}{\mathrm{argmin}}R(c|x)$$
此时，我们把$h^{\ast }$称为贝叶斯最优分类器，与之对应的，我们称$R(h^{\ast })$为贝叶斯风险，$1-R(h^{\ast })$反映了分类器能达到的最好性能。
如果我们额目标是最小化分类错误率，那么误判损失${\lambda }_{ij}$可写为
$$\lambda =1-\mathbb{I}(i,j)$$
那么这个时候的条件风险就可以表示为
$$R(c|x)=1-p(c|x)$$
最优分类器就等价于
$$h^{\ast }(x)=\underset{c\in y}{\mathrm{argmax}}P(c|x)$$
这里给出生成式模型与判别式模型的概念。
所谓生成式模型，指的是先对$P(c,x)$进行建模，然后再得到$P(c|x)$；而判别式模型则是直接对$P(c|x)$进行建模，如我们前边介绍的决策树、SVM等。
对于生成式模型，由贝叶斯公式
$$P(c|x)=\frac{P(c)P(x|c)}{P(x)}=\frac{P(c,x)}{P(x)}$$
注意$P(x)$