29、稀疏贪心矩阵逼近与内点算法详解

稀疏贪心矩阵逼近与内点算法详解

1. 稀疏贪心矩阵逼近

1.1 低维逼近的充分性

在许多实际应用中，矩阵 $K$ 往往存在大量较小的特征值。这些小特征值的存在意味着，在不显著牺牲精度的前提下，我们可以将它们移除。基于这一观察，稀疏贪心逼近技术应运而生。该技术的核心思想是，找到一组基函数 $k(x_i, x)$ 的子集，使得正则化风险泛函 $R_{reg}[f]$ 能够得到近似最小化，其效果几乎与表示定理所要求的完整展开相当。

1.2 稀疏逼近

大多数核算法都需要处理大小为 $m \times m$ 的核矩阵 $K$。然而，计算或存储该矩阵的成本会随着 $O(m^2)$ 增长，而评估解（即预测）的成本则会随着 $O(m)$ 增长。为了降低这些成本，我们可以选择 $n$ 个函数 $k(x_1, \cdot), \cdots, k(x_n, \cdot)$（其中 $n \ll m$），并通过它们的线性组合来近似每个 $k(x_i, \cdot)$。具体而言，我们使用以下近似公式：
[k(x_i, \cdot) \approx \tilde{k} i(\cdot) = \sum {j=1}^{n} \beta_{ij} k(x_j, \cdot)]
作为近似准则，我们选择在再生核希尔伯特空间 $\mathcal{H}$ 中的接近度。即选择 $\beta_{ij}$ 使得近似误差最小化：
[
\left\lVert k(x_i) - \sum_{j=1}^{n} \beta_{ij} k(x_j, \cdot) \right\rVert_{\mathcal{H}}^2 = k(x_i, x_i) -