15、核方法：提升机器学习效率与表达能力的利器

核方法：提升机器学习效率与表达能力的利器

在机器学习领域，寻找高效且强大的预测模型一直是核心目标。将数据映射到高维特征空间并学习半空间的方法，虽然极大地增强了半空间预测器的表达能力，但也带来了样本复杂度和计算复杂度的挑战。本文将详细介绍核方法，这是一种有效应对计算复杂度挑战的技术。

1. 特征空间嵌入

半空间的表达能力存在一定限制。例如，在实数轴上，对于定义域点 ${-10, -9, -8, \ldots, 0, 1, \ldots, 9, 10}$，当 $|x| > 2$ 时标签为 $+1$，否则为 $-1$，这样的训练集无法用半空间进行分离。

为了增强半空间的表达能力，我们可以先将原始实例空间映射到另一个（可能是更高维的）空间，然后在该空间中学习半空间。以之前的例子为例，我们可以定义映射 $\psi : \mathbb{R} \to \mathbb{R}^2$ 为 $\psi(x) = (x, x^2)$。应用 $\psi$ 后，数据可以很容易地用半空间 $h(x) = \text{sign}(\langle w, \psi(x) \rangle - b)$ 来解释，其中 $w = (0, 1)$ 且 $b = 5$。

特征空间嵌入的基本范式如下：
1. 给定某个定义域集合 $X$ 和学习任务，选择一个映射 $\psi : X \to F$，其中特征空间 $F$ 通常为 $\mathbb{R}^n$（不过，这种映射的范围可以是任何希尔伯特空间，包括无限维空间）。
2. 给定一系列带标签的示例 $S = (x_1, y_1), \ldots, (x_m, y_m)$，创建图像序列 $\hat{S} = (\psi(x_1), y_1