25、基于核Lasso的支持向量机高效稀疏逼近

基于核Lasso的支持向量机高效稀疏逼近

在机器学习领域，非线性支持向量机（SVM）是一类强大的分类器。然而，在大规模场景中，使用非线性SVM进行预测可能成本过高。这是因为在非线性情况下，分类器的存储和使用复杂度取决于支持向量的数量，而支持向量的数量通常是训练数据的很大一部分。这种情况在需要多次评估模型的应用中，如计算机视觉和网页搜索排名，是一个主要限制。

1. 问题提出与相关工作

给定数据 ${(x_i, y_i)} {i = 1}^m$，其中 $x_i \in X$ 且 $y_i \in {\pm1}$，SVM学习的预测器形式为 $f {w,b}(x) = \text{sign}(w^T \varphi(x) + b)$。这里 $\varphi(x)$ 是输入模式 $x$ 的特征向量表示，$w \in H$，$b \in R$ 是模型参数。为了实现更灵活的决策边界，$\varphi(x)$ 通常实现从输入空间 $X$ 到希尔伯特空间 $H$ 的非线性映射，通过核函数 $k: X \times X \to R$ 关联。核函数允许直接从 $X$ 计算 $H$ 中的点积，即 $\varphi(x_i)^T \varphi(x_j) = k(x_i, x_j)$。

$w$ 和 $b$ 的值通过求解以下形式的问题确定：
$$\min_{w,b} \frac{1}{2}|w| H^2 + C \sum {i = 1}^m \ell(y_i(w^T \varphi(x_i) + b))^p$$
其中 $p \in {1, 2}$，$\ell(z) = (1 - z) +$ 是铰链损失。众所周知，上述问题的解 $w^