18、支持向量机的变体：增量训练与特权信息学习

支持向量机的变体：增量训练与特权信息学习

在机器学习领域，支持向量机（SVM）是一种强大的分类和回归工具。为了进一步提升其性能和适应性，研究者们提出了多种支持向量机的变体方法，本文将详细介绍增量训练和利用特权信息学习这两种重要的变体。

1. 增量训练方法

增量训练允许在新数据到来时，对已有的支持向量机模型进行更新，而无需重新训练整个模型。这里介绍两种增量训练方法：基于超平面的增量训练和基于超球体的增量训练。

1.1 基于超平面的增量训练

基于超平面的增量训练步骤如下：
1. 初始化集合 $S$，即 $S = \varnothing$。
2. 对于 $x \in X_a$，若对于所有 $i \in {1, \ldots, n}$ 都满足 $y(x) D_i(x) < \beta + 1$，则将 $x$ 添加到集合 $S$ 中，即 $S = S \cup {x}$。
3. 将集合 $S$ 添加到 $X_c$ 中，即 $X_c = X_c \cup S$。
4. 若 $X_a$ 中的所有数据都满足特定条件（公式 4.114），则不重新训练支持向量机；否则，进入步骤 5。
5. 使用 $X_c$ 重新训练支持向量机。训练后，若对于所有 $i = 1, \ldots, n$，$x \in X_c$ 都满足 $y(x) D_i(x) > \beta + 1$，则从集合 $S$ 中删除 $x$，即 $S = S - {x}$。

由于 $\delta |w_i| = 1$，相关公式可重写为：
[
\frac{y(x) D_i(x)}{|w_i|} \leq \delta