19、基于核的方法：核最小二乘法、核主成分分析与核马氏距离

基于核的方法：核最小二乘法、核主成分分析与核马氏距离

在机器学习领域，为了提升泛化和分类能力，传统的模式分类技术得到了扩展，融入了最大化间隔和映射到特征空间的思想。本文将详细介绍一些基于核的方法，包括核最小二乘法、核主成分分析和核马氏距离。

1. 核最小二乘法

1.1 算法

输入空间中的最小二乘法可以通过核技术轻松扩展到特征空间。假设我们有训练输入 - 输出对 ${x_i, y_i}$，其中 $i = 1, \ldots, M$。我们用以下公式近似输出 $y$：
[y = a^T g(x)]
其中 $g(x)$ 是将 $x$ 映射到 $l$ 维特征空间的映射函数，$a$ 是 $l$ 维向量。为了简化，我们假设 $g(x)$ 的最后一个元素为 1，这样就无需在公式中添加常数项。

我们的目标是确定向量 $a$，使得以下误差函数 $J$ 最小化：
[J = \sum_{i=1}^{M} (y_i - a^T g(x_i))^2]

假设 $M’$ 个向量 ${g(x_1), \ldots, g(x_{M’})}$（$M’ \leq M$）张成了由 ${g(x_1), \ldots, g(x_M)}$ 生成的空间，那么 $a$ 可以表示为：
[a = \sum_{i=1}^{M’} \alpha_i g(x_i)]
将其代入 $y$ 的表达式，得到：
[y = \sum_{i=1}^{M’} \alpha_i g^T(x_i) g(x) = \sum_{i=1}^{M’} \alpha_i H(x, x_i)]
其中 $H(x, x_i) = g^T(x) g(x_i) = g