6、核方法与风险损失函数详解

核方法与风险损失函数详解

核方法核心——核技巧

核技巧是支持向量机（SVMs）和其他核方法的关键要素。它允许我们使用定义在输入模式对上的简单函数，来计算高维特征空间中的点积。这一技巧使得任何可以用点积表示的算法都能有非线性的变体，SVMs就是最突出的例子。虽然核技巧背后的数学成果已有近百年历史，但直到后来才被机器学习界用于算法分析和构建，并被描述为构建点积算法非线性泛化的通用方法。

在核方法的研究中，我们从多项式核开始。多项式核可以高效地计算大量的单项式特征，这引发了一个普遍问题：哪些核可以使用，或者说哪些核可以表示为线性特征空间中的点积。我们定义了这类核，并讨论了它们的一些性质。对于给定的核，有几种方法可以在特征空间中构建其表示。最著名的表示方法是利用Mercer定理，将特征空间表示为一个基于与核相关的积分算子的特征函数定义的$l^2$空间。另一种表示方法使用再生核希尔伯特空间理论的元素，将线性空间表示为核展开形式的函数空间，这能带来额外的见解。

核技巧的底层哲学是将复杂的非线性算法用简单的几何概念表达，然后在线性空间中处理。虽然这个线性空间可能并不总是容易获得，甚至在某些情况下很难明确构建，但对于算法的设计和分析来说，知道线性空间存在就足够了，这使我们能够充分利用几何、线性代数和泛函分析的潜力。

核相关问题探讨

以下是一系列与核相关的问题，这些问题有助于我们更深入地理解核的性质和应用：
1. 单项式特征验证 ：验证特定等式（如(2.9)中的第二个等式）。
2. 单项式特征多重性证明 ：对于单项式核$k(x, x’) = \langle x