40、高斯过程：灵活的贝叶斯预测模型

高斯过程：灵活的贝叶斯预测模型

一、非参数预测概述

在机器学习的概率建模框架中，高斯过程（GPs）是一类灵活的贝叶斯模型。为了构建一个有效的预测器，我们首先要明确所需的信息。给定一组训练数据 $D = {(x_n, y_n), n = 1, \ldots, N} = X \cup Y$，其中 $x_n$ 是第 $n$ 个数据点的输入，$y_n$ 是对应的输出（在回归问题中为连续变量，在分类问题中为离散变量），我们的目标是为新输入 $x^ $ 做出预测 $y^ $。

在判别式框架下，我们不假设输入 $x$ 的具体模型，而是在给定输入的条件下对输出进行建模。通过联合模型 $p(y_1, \ldots, y_N, y^ |x_1, \ldots, x_N, x^ ) = p(Y, y^ |X, x^ )$，我们可以利用条件概率得到预测器 $p(y^ |x^ , D)$。

在之前的研究中，我们常使用独立同分布（i.i.d.）假设，即每个数据点都独立地从相同的生成分布中采样。但在这种情况下，若假设 $p(y_1, \ldots, y_N, y^ |x_1, \ldots, x_N, x^ ) = p(y^ |X, x^ ) \prod_{n} p(y_n|X, x^ )$，那么预测条件就变成了 $p(y^ |D, x^ ) = p(y^ |X, x^*)$，这意味着预测没有利用到训练输出，显然这种假设用处不大。因此，为了得到有意义的预测器，我们需要指定一个关于输出的非因式分解的联合分布。

二、从