15、支持向量机的广义近似交叉验证（GACV）

支持向量机的广义近似交叉验证（GACV）

1. 引言

支持向量机（SVM）在众多分类研究中取得了巨大成功，它可以被视为再生核希尔伯特空间（RKHS）中的变分/正则化问题。从正则化问题的角度来看待SVM范式，有助于与惩罚对数似然方法进行比较，也能应用模型选择和调优方法来选择非参数统计模型中的调优参数。

我们引入广义近似交叉验证（GA CV）来估计SVM中的调优参数。GA CV的目标是选择能最小化广义比较Kullback - Leibler距离（GCKL）的参数，而GCKL是预期误分类率的上界。

2. SVM变分问题

2.1 相关定义

设 $T$ 为索引集，通常 $T = E^d$（欧几里得 $d$ 空间）。$K(s; t)$ 是 $T \times T$ 上的正定函数，$H_K$ 是以 $K$ 为再生核的再生核希尔伯特空间（RKHS）。$K$ 可能包含一个或多个待选择的调优参数。

给定训练集 ${y_i; t_i}$，其中属性向量 $t_i \in T$，$y_i = \pm1$ 表示示例属于类别 $A$ 或 $B$。

2.2 经典SVM范式

经典SVM范式等价于找到形如 $const + h$（其中 $h \in H_K$）的 $f_{\lambda}$，以最小化以下正则化问题：
[
\frac{1}{n} \sum_{i = 1}^{n} (1 - y_i f_i) + + \lambda |h| {H_K}^2
]
其中 $f_i = f(t_i)$，$( \xi )_+ = \xi$（当 $\xi &g