6、核方法：从基础到高斯过程的全面解析

核方法：从基础到高斯过程的全面解析

1. 核方法概述

在传统的回归和分类线性参数模型中，从输入 $x$ 到输出 $y$ 的映射 $y(x, w)$ 由自适应参数向量 $w$ 决定。学习阶段使用训练数据集获取参数向量的点估计或确定其后验分布，之后训练数据被丢弃，新输入的预测仅基于学习到的参数向量 $w$，非线性参数模型如神经网络也采用这种方法。

然而，存在一类模式识别技术，会保留训练数据点或其一部分，并在预测阶段使用。例如，Parzen 概率密度模型是“核”函数的线性组合，每个核函数以一个训练数据点为中心；最近邻分类技术则将新测试向量分配为训练集中最近样本的标签。这些基于记忆的方法需定义度量来衡量输入空间中向量的相似度，训练速度快，但预测测试数据点的速度慢。

许多线性参数模型可转化为“对偶表示”，预测基于在训练数据点上评估的核函数的线性组合。对于基于固定非线性特征空间映射 $\varphi(x)$ 的模型，核函数定义为：
[k(x, x’) = \varphi(x)^T\varphi(x’)]
核是其参数的对称函数，即 $k(x, x’) = k(x’, x)$。核概念最初由 Aizerman 等人引入模式识别领域，后来 Boser 等人将其重新引入机器学习，催生了支持向量机技术。近年来，核方法在理论和应用方面都备受关注，其重要发展之一是扩展到处理符号对象，拓宽了可解决问题的范围。

最简单的核函数是线性核，通过考虑特征空间的恒等映射 $\varphi(x) = x$ 得到，即 $k(x, x’) = x^Tx’$。核作为特征空间内积的概念，使我们能利用核技巧（核替换）构建许多著名算法的有趣扩展。若算法中输入向量 $x$ 仅以标量积形式出现，就