21、核机器：特征空间与最大间隔问题解析

核机器：特征空间与最大间隔问题解析

1. 引言

在机器学习中，我们常常面临两个关键问题：一是如何对复杂的非线性映射进行回归，或者分离非线性可分的模式；二是在小训练集的情况下，如何将模型推广到新的示例上。核机器为解决这些问题提供了一个优雅的框架。接下来，我们将深入探讨核机器的相关内容，包括特征空间的构建以及最大间隔问题的求解。

2. 特征空间

特征丰富化在复杂学习问题中至关重要。在机器学习里，一直存在关于是应正确选择合适特征，还是从示例中学习特征的讨论。这里我们主要关注前者，它引出了核机器的概念。

一般来说，特征由特征映射 $\varphi$ 决定：
$\varphi : X \subset R^d \to H \subset R^D$，$x \to \varphi(x)$

多数情况下 $D \geq d$，甚至常认为 $D \gg d$，极端情况下 $\varphi$ 会产生无限维的特征空间。

2.1 多项式预处理

目前讨论的线性机器在回归或分类方面存在局限性，线性假设在一些实际问题中过于严格，LTU 机器也只能处理线性可分的模式。不过，通过适当丰富特征空间，可以扩展线性和 LTU 机器的理论。

以分类问题为例，给定模式 $x \in X \subset R^2$，考虑特征空间 $H \subset R^3$，映射为 $x \to z = (x_1^2, x_1x_2, x_2^2)’$。在 $H$ 中的线性可分性对应于 $X$ 中的二次可分性，因为有：
$a_1z_1 + a_2z_2 + a_3z_3 + a_4 = a_1 \cdot x_1^2