19、高效的混合高斯过程（MGP）期望最大化（EM）算法

高效的混合高斯过程（MGP）期望最大化（EM）算法

1. 引言

在处理大型数据集时，传统方法往往会产生巨大的计算成本。为解决这一难题，提出了一种改进的 EM 算法，通过在 E 步将每个数据点分配给后验概率最高的高斯过程（GP）专家，在 M 步仅使用这些分配的数据点来学习每个专家的参数，使算法更适合处理大型数据集的学习问题。

2. MGP 与留一法交叉验证概率分解

• 高斯过程 ：给定一组训练数据 $X = [x_1^T, \cdots, x_n^T]^T$ 作为输入，$Y = [y_1^T, \cdots, y_n^T]^T$ 作为相应输出，若 $Y \sim N(m(X), K_y(X, X))$，则称该数据集遵循高斯过程。其中 $m(X)$ 是先验定义的均值函数，$K_y(X, X)$ 是协方差矩阵函数，其元素 $K_y(x_p, x_q)$ 是核函数。为简化，假设均值函数 $m(X)$ 为零。这里使用平方指数（SE）协方差函数：
• $K_y(x_p, x_q) = l^2 \exp{-\frac{\sigma_f^2}{2} ||x_p - x_q||^2} + \delta_{pq}\sigma_n^2$
• 其中 $l, \sigma_f$ 和 $\sigma_n$ 是非零实值，$\delta_{pq}$ 在 $p = q$ 时为 1，否则为 0。
• MGP 模型 ：作为专家混合（ME）架构的扩展，MGP 模型通过门控网络 $g(x|\varphi)$ 组合多个单一高斯过程，$\varphi$ 表示门控网络中的所有参数