32、随机多尺度高斯核相关向量机：提升回归学习性能的新方法

随机多尺度高斯核相关向量机：提升回归学习性能的新方法

1. 引言

在机器学习领域，核方法一直是研究的热点，其中支持向量机（SVM）是最为人熟知的成员。核方法的主要特点是避免了为使线性学习算法能够学习非线性函数或决策边界所需的显式映射。通常，其泛化性能由核函数的选择决定，不同的核函数具有不同的学习能力。

当面临复杂的应用场景，如多任务学习时，单核的有限灵活性就需要通过多核学习（MKL）算法来弥补。然而，在以往的MKL研究中，基核的选择和优化算法的实现是两个难题。

另一方面，由于从各种传感器收集的样本数据可能会受到噪声或异常值的污染，鲁棒的数据建模技术在应用统计和机器学习领域受到了广泛关注。受贝叶斯方法的启发，Tipping提出了相关向量机（RVM）。RVM不是根据给定标准找到目标值的单点估计，而是定义了核函数组合权重的先验分布，并找到整个预测分布。但RVM同样基于单核，对于复杂数据，如非平稳或异质数据，其性能不佳。

为了解决这些问题，本文提出了基于随机多尺度高斯核的相关向量机（RMGK - RVM），它有机地结合了多核方法和贝叶斯框架。

2. 相关工作

考虑一个回归问题，给定数据 $D = {(x_i,t_i)|i = 1,\cdots,N}$，其中输入变量 $x_i \in X \subset R^d$，输出 $t_i \in T = [-M,M]$（$M > 0$）。我们的目标是从预选择的假设函数空间 $H$ 中找到一个合适的模型来学习回归器 $\bar{t} = E_{t|x}[t]$，$x \in X$，假设 $D$ 中的样本是独立同分布的。

不同的 $H$ 选择本质上决定了不同的近似