24、核方法与多类预测问题全解析

核方法与多类预测问题全解析

1. 核方法基础

核方法的核心在于找到一个特征映射 $\psi$，使得对称函数 $K: X \times X \to R$ 能表示 $\psi(x)$ 和 $\psi(x’)$ 之间的内积。下面的引理给出了充要条件：

引理 ：一个对称函数 $K$ 在某个希尔伯特空间中实现内积，当且仅当它是半正定的。即对于所有的 $x_1, \ldots, x_m$，Gram 矩阵 $G_{i,j} = K(x_i, x_j)$ 是半正定矩阵。

证明 ：
- 若 $K$ 在某个希尔伯特空间中实现内积，那么 Gram 矩阵显然是半正定的。
- 对于另一个方向，定义 $X$ 上的函数空间为 $R^X = { f: X \to R }$。对于每个 $x \in X$，令 $\psi(x)$ 为函数 $x \to K(\cdot, x)$。通过取所有形如 $K(\cdot, x)$ 的元素的线性组合来定义一个向量空间，并在这个向量空间上定义内积为：

$\left\langle \sum_{i} \alpha_i K(\cdot, x_i), \sum_{j} \beta_j K(\cdot, x’ j) \right\rangle = \sum {i,j} \alpha_i \beta_j K(x_i, x’_j)$

这个内积是有效的，因为它是对称的（由于 $K$ 是对称的）、线性的（显而易见），并且是正定的（容易看出 $K(x, x) \geq 0$，当且仅当 $\psi(x)$ 是零函数时取等号）。显然，$\langl