20、支持向量机训练方法详解

支持向量机训练方法详解

在支持向量机（SVM）的训练过程中，训练L1或L2支持向量机时，需要解决一个变量数量等于训练数据数量的二次规划问题，其计算复杂度为 $O(M^3)$，其中 $M$ 是训练数据的数量。当 $M$ 很大时，训练时间会很长。为了加速训练，人们提出了许多方法，主要包括预选支持向量候选和使用分解技术的训练方法。

1. 预选支持向量候选

根据支持向量机的架构，只有靠近决策边界的训练数据是必要的。而且，随着训练数据数量的增加，训练时间会变长，因此如果能在训练前有效地从训练数据中删除不必要的数据，就可以加速训练。以下是几种预选支持向量候选的方法：
- 聚类算法 ：可以使用k - 均值聚类算法、模糊c - 均值聚类算法或Kohonen网络对所有训练数据进行聚类。如果生成的聚类中包含属于同一类的数据，则丢弃这些数据；如果包含不同类的数据，则保留这些数据用于训练，因为它们可能包含支持向量。不过，这种方法在类重叠时有效，但如果类分离良好，可能无法提取边界数据。
- k近邻法 ：使用k近邻来检测边界数据。
- 线性规划提取保护向量 ：通过线性规划提取一种称为保护向量的支持向量超集。假设训练输入 - 输出对 ${(x_1, y_1), \ldots, (x_M, y_M)}$ 是线性可分的（$y_i$ 为1或 - 1），存在一个包含数据样本 $x_i$ 的分离超平面：
[
\begin{cases}
y_1(w^T x_1 + b) \geq 0 \
\cdots \
y_{i - 1}(w^T x_{i - 1