17、非线性输入变换与核函数：原理、应用与分类

非线性输入变换与核函数：原理、应用与分类

在机器学习中，核函数是一种强大的工具，它在回归和分类问题中都有着广泛的应用。本文将深入探讨核函数在回归和分类中的应用，包括核岭回归、支持向量回归以及支持向量分类等方法。

1. 核函数在回归中的应用总结

在核岭回归和支持向量回归中，我们涉及到三个不同概念的相互作用：
- 原始和对偶形式 ：模型有原始和对偶两种形式。原始形式用 $\theta$（固定大小 $d$）表示模型，而对偶形式使用 $\alpha$（每个数据点 $i$ 对应一个 $\alpha_i$，因此 $\alpha$ 的大小为 $n$，与 $d$ 无关）。这两种形式在数学上是等价的，但在实际应用中，其有用性取决于 $d$ 和 $n$ 的大小关系。
- 核函数的引入 ：核函数 $\kappa(x,x’)$ 允许我们在不明确构造无限维非线性变换向量 $\varphi(x)$ 的情况下，让 $d$ 趋于无穷。这种思想在使用基于 $\alpha$ 的对偶形式时非常实用，因为 $d$ 是 $\theta$ 的维度。
- 不同的损失函数 ：核岭回归使用平方误差损失，而支持向量回归使用 $\epsilon$-不敏感损失。$\epsilon$-不敏感损失在对偶形式中特别有趣，因为它会使 $\alpha$ 变得稀疏。

2. 核函数理论

核函数被定义为一个接受来自同一空间的两个参数并返回一个标量的函数。我们通常会将注意力集中在半正定核函数上，并介绍了两种实用的算法：核岭回归和支持向量回归。在介绍支持向量分类之前，我们将进一步探讨核函数