56、高斯过程与支持向量机在大数据集和分类问题中的应用

高斯过程与支持向量机在大数据集和分类问题中的应用

1. 大数据集上的高斯过程扩展

1.1 结构化输入的诱导点选择

对于输入域为 $\mathbb{R}^D$ 的情况，可使用梯度方法优化 $Z \in \mathbb{R}^{M \times D}$。但核方法的优势之一是能处理结构化输入，如字符串和图。此时无法使用梯度方法选择诱导点，可采用以下两种方法：
- 选择输入点的子集。
- 使用黑盒优化方法，如模拟退火。

1.2 利用并行化和核矩阵结构

计算 $K_{X,X}$ 的 Cholesky 分解需 $O(N^3)$ 时间，可使用基于矩阵向量乘法（MVM）的 Krylov 子空间方法替代。这些方法能自然利用核矩阵的结构，且矩阵乘法易于并行化，可通过 GPU 加速。

1.2.1 共轭梯度和 Lanczos 方法

• 共轭梯度法（CG） ：用于求解线性系统 $\hat{K} {X,X} \alpha = y$。该方法利用 $Ax = b$ 的解是二次函数 $\frac{1}{2}x A^{\top} x - x^{\top} b$ 的唯一极小值这一事实，通过迭代简单方程求解。关键计算步骤是 MVM，设 $\tau(\hat{K} {X,X})$ 为单次 MVM 的时间复杂度，对于稠密 $N \times N$ 矩阵，$\tau(\hat{K} {X,X}) = N^2$。若进行 $T$ 次迭代，CG 需 $O(T \tau(\hat{K} {X,X}))$ 时间。通常可根据 $\hat{K}_{X,X}$