87、高斯过程：从回归到分类的深入解析

高斯过程：从回归到分类的深入解析

1. 高斯过程中的自动相关性确定（ARD）

在处理具有多个输入变量的合成问题时，自动相关性确定（ARD）在高斯过程中起着重要作用。假设有三个输入变量 (x_1)、(x_2) 和 (x_3)，其中 (x_2) 的值是通过复制 (x_1) 并添加高斯噪声得到的，而 (x_3) 则是从独立的高斯分布中采样得到的。这意味着 (x_1) 是目标变量 (t) 的良好预测器，(x_2) 是一个噪声较大的预测器，而 (x_3) 与 (t) 只有偶然的相关性。

当使用缩放共轭梯度算法优化具有 ARD 参数 (\eta_1)、(\eta_2) 和 (\eta_3) 的高斯过程的边际似然时，我们可以观察到这些参数的收敛情况。从相关图中可以看到，(\eta_1) 收敛到一个相对较大的值，(\eta_2) 收敛到一个小得多的值，而 (\eta_3) 变得非常小，这表明 (x_3) 对于预测 (t) 是无关紧要的。

ARD 框架可以很容易地融入指数 - 二次核（6.63）中，得到以下形式的核函数：
[k(x_n, x_m) = \theta_0 \exp\left(-\frac{1}{2}\sum_{i = 1}^{D}\eta_i(x_{ni} - x_{mi})^2\right) + \theta_2 + \theta_3\sum_{i = 1}^{D}x_{ni}x_{mi}]
其中 (D) 是输入空间的维度。这个核函数在高斯过程应用于一系列回归问题中被证明是非常有用的。

1.1 ARD 参数收敛情况总结

参数	收敛情况