66、基于核与基于相异度的特征空间的实证比较

基于核与基于相异度的特征空间的实证比较

在模式识别和机器学习领域，基于核的分类（KBCs）和基于相异度的分类（DBCs）是两种重要的方法。下面将详细介绍这两种方法的相关理论、实验过程及结果。

核矩阵与相异度矩阵

假设存在一个包含 $n$ 个样本的训练集 $T$、一个包含 $m$ 个样本的原型集 $Y$，以及一个非负的相异度度量 $d$。那么，一个对象 $x$ 可以用相异度向量 $D(x, Y) = [d(x, y_1), \cdots, d(x, y_m)]^T$ 来表示。若使用相似度度量 $k$，则对象 $x$ 的相似度表示为 $K(x, Y) = [k(x, y_1), \cdots, k(x, y_m)]^T$。当 $|T| = |Y|$ 且 $k$ 为半正定矩阵时，$K$ 就是一个核矩阵。

若先设计相异度 $d$，则相似度 $k$ 可定义为：$k(x_i, y_j) = \frac{1}{2} [d^2(x_i, 0) + d^2(0, y_j) - d^2(x_i, y_j)]$，其中 $0$ 代表一个作为参考的特定元素。反之，若先定义相似度 $k$，则相异度 $d$ 可通过 $d^2(x_i, y_j) = k(x_i, x_i) + k(y_j, y_j) - 2k(x_i, y_j)$ 计算得出。

核方法虽然强大，但在处理任意邻近度时往往需要进行必要的修正，如欧几里得修正。例如，一个对称的相异度矩阵 $D(T, T) \in R^{n\times n}$ 可以通过等距映射嵌入到伪欧几里得空间中。伪欧几里得空间 $E(= R^{(p,q)} = R^{(p)} \oplus R^{(q)})$ 用签名 $(p, q)$ 表示，其中双线性但不一定正定的内积