36、非参数方法与相关向量机详解

非参数方法与相关向量机详解

1. 再生核希尔伯特空间（RKHS）相关内容

在特定模型中，为了得到再生核希尔伯特空间（RKHSs），需要为每个内积 ⟨·,·⟩₀ 和 ⟨·,·⟩₁ 分配再生核（RKs）。可以证明：
[R_0(x,y) = \sum_{j = 1}^{m - 1} \frac{x_jy_j}{j!j!}]
[R_1(x,y) = \int_{0}^{1} \frac{(x - t)^{m - 1}(y - t)^{m - 1}}{(m - 1)!(m - 1)!} dt]
分别是在 ⟨·,·⟩₀ 和 ⟨·,·⟩₁ 下 H₀ 和 H₁ 上的再生核。因此，(R(x,y) = R_0(x,y) + R_1(x,y)) 是在 ⟨·,·⟩ 下 (C^{(m)}[0,1]) 上的再生核。

在模型 (Y = f(x) + ε) 中，其中 (ε) 服从 (N(0,σ²)) 分布。假设 (f(x) = f_0(x) + f_1(x))，(f_i) 在 (H_i) 上变化，且每个 (f_i) 都配备了一个均值为零、协方差函数由再生核导出的高斯过程先验，即：
[E(f_0(x)f_0(y)) = τ²R_0(x,y)]
[E(f_1(x)f_1(y)) = bR_1(x,y)]
可以推导出后验均值 (E(f(x)|Y)) 的表达式。

这个论证可以推广到具有任意微分算子的惩罚项，表明平滑样条仍然是更一般的希尔伯特空间和再生核的贝叶斯估计。但对于 p 维情况，该论证的推广并不清晰，例如在 (p ≥ 2) 时，(6.2.13) 中的余项积分形式似乎不成立。

2. 相关向量机（RVM）概述

相关