13、高斯过程与支持向量机：原理、应用与优化

高斯过程与支持向量机：原理、应用与优化

高斯过程的基本原理

高斯过程的推导与协方差矩阵

在某些模型中，消除模型参数 $w$ 后会得到高斯过程先验。从 (7.16) 到 (7.18) 的推导，可基于 $j_i$ 的独立性，当 $L \to \infty$ 时，(7.16) 中的指数项作为 $L$ 个独立同分布随机项的平均值，会趋近于这些项在其分布上的均值，从而得到 (7.18)。

对于任意的 $g(u)$，计算协方差矩阵 (7.21) 较为困难。但当数据向量 $\xi$ 接近原点（或者超参数 $\alpha_J$ 较大，使得 $j$ 较小）时，对于像 $g(u) = \tanh(u)$ 这样的典型选择，可展开为 $g(u) = u + O(u^3)$，进而得到：
[C(\xi, \xi’) = \frac{1}{\alpha_w} \sum_{j} (j \cdot \xi)(j \cdot \xi’)\rho(j) + O(|\xi||\xi’|^3, |\xi|^3|\xi’|) = \frac{\xi \cdot \xi’}{\alpha_w\alpha_J} + O(|\xi||\xi’|^3, |\xi|^3|\xi’|)]
当 $g(u) = u$ 时，多层感知机 (MLP) 退化为输入的简单线性函数，此时 (7.22) 与径向基函数 (RBF) 结果 (7.11) 形式相同，只需令 $\phi(\xi) = \xi$。

从“函数先验”角度理解高斯过程

将高斯过程视为函数的先验，有助于直观理解其含义。考虑输入 $\xi$ 来自离散集合 $\xi_1, \ldots, \xi_K$ 的简单情况，在实际中，