55、高斯过程：从理论到实践的全面解析

高斯过程：从理论到实践的全面解析

1. 高斯过程基础与预测计算

高斯过程（GPs）在机器学习中是一个强大的工具，尤其在回归和分类任务中表现出色。在进行预测时，我们需要计算后验预测均值和方差。后验预测均值由公式 $\mu_ = k_ ^\top \hat{K} {X,X}^{-1}y$ 给出。为了保证数值稳定性，通常不直接对 $\hat{K} {X,X}$ 求逆，而是进行 Cholesky 分解 $\hat{K} {X,X} = LL^\top$，此过程时间复杂度为 $O(N^3)$。接着计算 $\alpha = L^\top \backslash (L \backslash y)$，这里的反斜杠运算符表示回代操作。这样，每个测试用例的后验均值可以在 $O(N)$ 时间内计算得出：
$\mu = k_ ^\top \hat{K} {X,X}^{-1}y = k ^\top L^{-\top}(L^{-1}y) = k_ ^\top \alpha$

每个测试用例的方差可以在 $O(N^2)$ 时间内计算：
$\sigma_ ^2 = k_{ } - k_ ^\top L^{-T} L^{-1}k_ = k_{ } - v^\top v$
其中 $v = L \backslash k_ $。

最后，用于核学习的对数边际似然可以通过以下公式计算：
$\log p(y|X) = -\frac{1}{2}y^\top\alpha - \