9、基于梯度的稀疏高斯过程回归前向贪心算法

基于梯度的稀疏高斯过程回归前向贪心算法

1. 引言

高斯过程（GP）在机器学习领域已成为最受欢迎的核机器之一。它在训练和模型选择方面较为简单，还能为测试示例提供具有出色泛化能力的概率预测。然而，原始的GP模型由于计算需求高，难以应用于大型数据集。具体来说，存在以下问题：
- 需要计算和存储大小为 $n×n$ 的全阶核矩阵 $K$（即协方差矩阵），其中 $n$ 是训练示例的数量。
- 训练GP模型的计算成本约为 $O(n^3)$。
- 预测一个测试用例，评估均值需要 $O(n)$，计算方差需要 $O(n^2)$。

为了克服这些限制，近期提出了许多近似方案来加速GP的计算。这些方法大致可分为两类：
- 贪心前向选择方法：可视为通过低秩表示迭代近似全核矩阵。
- 近似矩阵向量乘法（MVM）操作的方法：如快速高斯变换（FGT）和更通用的N体方法。

本文遵循近似全核矩阵的路径，提出了一种与以往不同的前向贪心算法，其主要思想是构造而不是选择基向量，灵感来源于著名的梯度提升框架。

2. 高斯过程回归

在回归问题中，给定由 $n$ 个示例组成的训练数据 $D = {(x_1, y_1), …, (x_n, y_n)}$，其中 $x_i \in R^m$ 是 $m$ 维输入，$y_i \in R$ 是相应的目标。通常假设输出 $y_i$ 由下式生成：
$y_i = f(x_i) + \epsilon_i$
其中 $\epsilon_i$ 是正态随机变量，密度为 $P(\epsilon_i) = N(\epsilon_i|0, \sigma^2)$，$f(x)$ 是不可观测的潜在函数。回