11、高维核函数的翻译不变性与多输出正则化

高维核函数的翻译不变性与多输出正则化

1. 平移不变核的实际应用

在实际应用平移不变核时，有两种极端情况值得关注：
- 已知功率谱形状 ：若待估计函数的功率谱 $Pow f $ 形状已知，应选择核函数 $k$ ，使 $F[k]$ 与 $f$ 的功率谱期望值匹配。功率谱 $Pow f = |F f |^2$ ，它等于 $f$ 的自相关函数 $f(x) \star f(-x)$ 的傅里叶变换。这在信号处理中被称为“匹配滤波器”问题，即重建受白噪声干扰信号的最优滤波器，需与待重建信号的频率分布匹配。
- 数据信息有限 ：当对给定数据了解甚少时，可做一般平滑性假设，推荐使用高斯核。若计算时间重要，可考虑具有紧支撑的核，如 $B_n$ -样条核，这种选择会使许多矩阵元素 $k_{ij} = k(x_i - x_j)$ 为零。

通常情况介于这两种极端之间，可利用有限的先验知识选择核函数。此外，核宽度的选择可能比核的实际函数形式更重要。例如，在 $\omega \approx 0$ 附近， $B$ -样条核和高斯核的相关滤波特性差异不大。

2. 高维平移不变核

在高维空间中，构造核函数更为复杂。若对数据无特殊假设，主要有两种构造核函数 $k: \mathbb{R}^N \times \mathbb{R}^N \to \mathbb{R}$ （$N &g