【机器学习】6.贝叶斯分类器

数学基础

贝叶斯决策论（概率框架下实施决策的基础方法）

假设有N中可能的类别标记，即y={c₁,c₂,…,c_n},${\lambda }_{ij}$是将一个真是标记为c_j的样本误分类为c_i所产生的损失，基于后验概率P（c_i|x）可获得将样本x的分类为c_i所产生的期望损失，即在样本x上的条件风险。
$$R(c_i|x)=\sum _{j=1}^N{\lambda }_{ij}P(c_j|x)$$
我们的任务就是寻找一个判别准则h：x $\to$y以最小化总体风险
$$R(h)=E_x[R(h(x)|x)]$$
贝叶斯判定准则:为最小化总体风险，值需要选择每个样本上那个能是条件风险R（c|x）最小的类别标记
$$h^{\ast }(x)=argma{x}_{c\in y}R(c|x)$$
此时，h^*称为贝叶斯最优分类器，R（h^*）称为贝叶斯风险。

若目标是最小化分类错误率，损失${\lambda }_{ij}$可写为
$${\lambda }_{ij}=\{\begin{array}{ll}0,& \text{if i=j}\\ 1,& \text{otherwise}\end{array}$$

此时： P ( c i ∣ x ) = 1 − P ( c i ∣ x ) P(c_i|x) = 1-P(c_i|x)