20、高斯过程与生成模型在机器学习中的应用

高斯过程与生成模型在机器学习中的应用

高斯过程的实际应用方面

在将高斯过程用作监督机器学习方法时，用户需要做出一些重要的设计选择。高斯过程是一种核方法，核的选择非常关键，大多数核包含一些超参数，也需要进行选择。可以通过最大化边际似然来进行这些选择。

核的选择

高斯过程可被视为核岭回归的贝叶斯版本，因此需要一个半正定核。所有半正定核都可用于高斯过程。在所有核方法中，高斯过程的核选择影响最大，因为高斯后验预测的均值和方差都受核的选择影响。

例如，平方指数核和$\nu = \frac{1}{2}$的Matérn核对应着关于$f(x)$平滑性的截然不同的假设。一个半正定核$\kappa(x,x’)$乘以一个正常数$\varsigma^2$后仍然是半正定核$\varsigma^2\kappa(x,x’)$。对于高斯过程，明智地选择常数$\varsigma^2$很重要，因为它会成为预测方差的一个重要因素。

核及其所有超参数（包括$\varsigma^2$和$\sigma^2$）的选择由机器学习工程师决定。从贝叶斯的角度来看，核是先验的重要组成部分，体现了对函数$f$的关键假设。

超参数调整

大多数核$\kappa(x,x’)$包含一些超参数，如$\ell$、$\alpha$和可能的缩放$\varsigma^2$，以及噪声方差$\sigma^2$。有些超参数可以手动设置，但大多数情况下需要用户进行调整。我们将所有需要选择的超参数统称为$\eta$，$\eta$可能是一个向量。

可以使用交叉验证来选择超参数，贝叶斯方法也提供了最大化边际似然$p(y)$的选项。从高斯过程的构建可知，$p_{