11、原始空间中稀疏核分类器的学习

原始空间中稀疏核分类器的学习

1. 引言

在机器学习领域，稀疏核分类器的学习是一个重要的研究方向。传统的算法如 SKLA 虽然在学习稀疏核分类器方面有一定效果，但训练成本极高，不适用于大规模应用。因此，开发更高效的算法具有重要意义。

2. SKLA 算法的局限性

SKLA 算法在学习稀疏核分类器时存在以下两个主要问题：
- 训练复杂度高 ：作为迭代算法，SKLA 在梯度计算和线搜索的每次函数评估中都需要反复重新训练核 SVM 问题。核 SVM 训练的复杂度至少是支持向量（SV）数量的立方，而 SV 数量大致与训练数据大小成正比。此外，对于困难问题，线搜索失败的概率较高，这会大大增加 SVM 重新训练的次数和总体训练时间。
- 梯度计算成本高 ：梯度计算涉及对修改后的核中每个 $\hat{\kappa}_z(x_i, x_j)$ 关于 $z_j$ 求导。计算单个 XV 的梯度的时间复杂度为 $O(N^2m^2d)$，在训练数据大小和 XV 数量上都是二次的，这对于大规模应用来说是不可取的。

3. PSKC 算法的提出

为了解决 SKLA 算法的局限性，提出了 PSKC 算法，它为稀疏核分类器学习提供了一个原始优化框架。具体步骤如下：
1. 重写成本函数 ：将权重向量 $w$ 代入原始问题，并将成本函数用 $\beta$ 和 $z_j$ 表示：
- $\min_{\beta,b;Z} f(\beta, b; Z) = \frac{1}{2}\beta^T K_z\beta + C\su