11、贝叶斯回归与高斯过程：原理、应用与优化

贝叶斯回归与高斯过程：原理、应用与优化

1. 计算特性

1.1 网格使用与内存需求

当使用均匀网格时（与无网格的高斯过程相对），若每个变量的网格点数为 $n_k$，那么总点数 $n = \prod_{k = 1}^{p} n_k$。尽管每个核矩阵 $K_{X,X}$ 是 $n \times n$ 的，但我们只需存储 (3.46) 中的 $n$ 维向量 $\alpha$，这大大降低了内存需求。

1.2 训练与预测时间

训练时间主要用于对 (3.45) 进行数值最大化，其复杂度与观测值数量 $n$ 密切相关。这是因为需要求解涉及 $n \times n$ 对称正定协方差矩阵 $K$ 的线性系统并计算对数行列式，通常通过计算 $K$ 的 Cholesky 分解来完成，复杂度为 $O(n^3)$。而预测则相对较快，每个测试点的预测可通过矩阵 - 向量乘法在 $O(n^2)$ 时间内完成，这也是使用高斯过程进行实时风险估计的主要原因。

1.3 在线学习

若期权定价模型需要在日内重新校准，那么对应的高斯过程模型也需重新训练。在线学习技术允许增量式地完成这一过程。为实现在线学习，训练数据应包含常量模型参数。每次参数更新时，从新参数化下的期权模型价格生成新的观测值 $(x’, y’)$。测试点 $x^ $ 处的后验分布按以下公式更新：
[p(f^ |X, Y, x’, y’, x^ ) = \frac{p(x’, y’|f^ )p(f^ |X, Y, x^ )}{\int_{f^ } p(x’, y’|z)p(z|X, Y, x^