34、统计模式识别中的分类器与风险评估

统计模式识别中的分类器与风险评估

1. 贝叶斯规则与最大似然分类器

在进行分类决策时，若基于 $P(w_i|x)$ 来做判断，我们使用的就是最大似然分类器。通过贝叶斯规则，我们可以关联三个函数：
$P(w_i|x) = \frac{p(x|w_i)P(w_i)}{Something}$
其中，$Something = p(x) = \sum_{j=1}^{c} p(x|w_j)P(w_j)$。

这里用 “Something” 表示条件概率密度的分母，它代表了 $x$ 取值的概率密度，且与观测的类别无关。由于这个数值对所有类别都相同，它在区分哪个类别最有可能时并无帮助，只是一个归一化常数，确保 $P(w_i|x)$ 具有概率的理想性质，即取值在 0 到 1 之间，且所有类别的 $P(w_i|x)$ 之和为 1。

1.1 参数模式分类器

最大似然分类器的决策基于两个因素：所考虑类别的先验概率和每个类别的条件概率密度。概率密度函数可能有不同形式，常见的如 “钟形曲线”。

对于标量值的 $x$，“钟形曲线” 的解析函数形式为：
$p(x) = \frac{1}{\sqrt{2\pi\sigma}} \exp\left(-\frac{1}{2}\left(\frac{x - \mu}{\sigma}\right)^2\right)$
这被称为单变量高斯（正态）密度，“单变量” 表示 $x$ 是一个标量。均值 $\mu$ 和标准差 $\sigma$ 构成 “参数向量”：
$\theta_i = \begin{bmatrix} \mu_i \ \sigma_i \end{bmatrix}$