37、传统分类器、矩阵知识与二次规划基础

传统分类器、矩阵知识与二次规划基础

在模式识别和机器学习领域，传统分类器、矩阵运算以及二次规划是非常重要的基础内容。下面将详细介绍贝叶斯分类器、最近邻分类器、矩阵的基本性质、最小二乘法与奇异值分解、协方差矩阵以及二次规划的相关知识。

1. 传统分类器

1.1 贝叶斯分类器

贝叶斯分类器基于概率论，为模式分类提供了理论基础。设 $\omega$ 是一个随机变量，有 $n$ 种状态 $\omega_1, \ldots, \omega_n$，其中 $\omega_i$ 表示第 $i$ 类，$m$ 维特征向量 $x$ 是一个随机变量向量。已知先验概率 $P(\omega_i)$ 和条件密度 $p(x | \omega_i)$，当观察到 $x$ 时，根据贝叶斯规则计算 $\omega_i$ 的后验概率 $P(\omega_i | x)$：
[P(\omega_i | x) = \frac{p(x | \omega_i) P(\omega_i)}{p(x)}]
其中
[p(x) = \sum_{i = 1}^{n} p(x | \omega_i) P(\omega_i)]

假设将 $x$ 分类到第 $i$ 类但实际属于第 $j$ 类时的代价为 $c_{ij}$，则将 $x$ 分类到第 $i$ 类的期望条件代价 $C(\omega_i | x)$ 为：
[C(\omega_i | x) = \sum_{j = 1}^{n} c_{ij} P(\omega_j | x)]

当 $x$ 被分类到使条件代价最小的类时，即
[\arg \min_{i = 1,\ldots,n} C(\omega_i | x)