35、支持向量机中的不变性与学习理论

支持向量机中的不变性与学习理论

在模式识别和机器学习领域，支持向量机（SVM）是一种强大的分类和回归工具。为了提高其性能，人们提出了多种方法来引入不变性，同时也对学习理论进行了深入研究，以确保估计方法的可靠性。

1. 不变性的引入

在支持向量学习机中引入不变性有多种方法，下面将介绍两种主要的方法及其特点。

1.1 虚拟支持向量（VSV）方法

VSV方法通过从支持向量生成虚拟示例，而非从整个训练集生成，来引入不变性。这种方法能显著提高分类准确率，虽然需要进行两次训练（而非一次），并且在构建分类规则时会使用更多的支持向量，从而减慢分类速度。不过，由于支持向量机本身训练时间相对较短，所以两次训练的时间成本通常不是关键问题。而且，与从整个数据库生成虚拟示例的训练方式相比，VSV方法的速度要快得多。为了弥补分类速度的问题，可以使用缩减集方法。

1.2 抖动支持向量（JSV）方法

JSV方法通过在核定义中引入变换来实现不变性，这种思想被称为核抖动。具体步骤如下：
1. 考虑示例 $x_i$ 的所有抖动形式（包括其本身），选择与 $x_j$ “最接近” 的形式 $x_q$，即最小化核诱导空间中 $x_q$ 和 $x_j$ 之间的度量距离，该距离由 $K_{qq} - 2K_{qj} + K_{jj}$ 给出。
2. 令 $K_{J_{ij}} = K_{qj}$。

对于某些核，如径向基函数（RBF），只需选择最大的 $K_{qj}$ 值作为 $K_{J_{ij}}$ 的值即可。在对称不变性（如平移）的情况下，只需对一个示例进行抖动。

与VSV方法相比，JSV方法的训练