54、核方法与高斯过程：原理、应用与比较

核方法与高斯过程：原理、应用与比较

1. 从噪声观测中进行推断

在处理函数值的观测时，我们常常会遇到噪声的干扰。对于函数值 (f_n = f(x_n))，我们实际观测到的是 (y_n = f_n + \epsilon_n)，其中 (\epsilon_n) 代表噪声。要计算 (p(f|y))，虽然可以对之前的方法进行推广，但涉及的代数运算会比较复杂，相关内容将在后续更普遍的情况中详细讨论。

2. Mercer 核

在之前的讨论中，我们了解到可以通过指定在一维输入网格上相邻的 (x_i) 和 (x_j) 对应的 (f(x_i)) 和 (f(x_j)) 相似，来对函数的平滑性先验知识进行编码。为了将这种方法推广到任意输入域，我们引入了核函数的概念。

“核”在数学中有多种含义，如密度核、马尔可夫链的转移核和卷积核等。这里我们主要探讨 Mercer 核，也称为正定核。它是一个对称函数 (K : X × X → R^+)，满足对于任意一组 (N) 个（唯一的）点 (x_i \in X) 和任意实数 (c_i \in R)，都有 (\sum_{i=1}^{N} \sum_{j=1}^{N} K(x_i, x_j) c_i c_j \geq 0)。只有当所有 (c_i = 0) 时，等式才成立。

另一种理解方式是通过 Gram 矩阵。给定一组 (N) 个数据点，Gram 矩阵 (K) 是一个 (N × N) 的相似矩阵，其元素为 (K_{ij} = K(x_i, x_j))。当且仅当对于任意一组（不同的）输入 ({x_i}_{i=1}^{N})，Gram 矩阵都是正定的，我们才称 (K) 为 Mercer 核。

对于实值输入，最常用