15、支持向量机训练方法深度解析

支持向量机训练方法深度解析

在支持向量机（SVM）的训练过程中，涉及到诸多关键技术和方法，这些方法对于提高训练效率、保证模型性能起着至关重要的作用。下面将详细介绍一些常见的训练方法及其相关特性。

1. 分解技术

分解技术通常被称为分块（chunking），主要分为可变大小分块和固定大小分块两种。

可变大小分块

其具体步骤如下：
1. 从训练数据集中选取 F 个点到集合 W 中，这里 F 是一个固定的正整数。
2. 求解关于 αW 的子问题。
3. 删除除支持向量候选者之外的变量，并添加 F 个不满足 KKT 条件的点，然后回到步骤 2；若没有不满足 KKT 条件的点，则终止算法。
随着迭代的进行，工作集的大小会不断增加。

固定大小分块

步骤如下：
1. 从训练数据集中选择 |W| 个点。
2. 求解关于 αW 的子问题。
3. 如果存在不满足 KKT 条件的 αj（∈αN），则用 αj 替换任意一个 αi（∈αW），然后回到步骤 2；否则，终止算法。

对于分解技术的收敛特性已有相关研究。特别是当工作集大小为 2 时，如果选择最违反 KKT 条件的变量，算法的渐近收敛性是可以保证的。

为了加速分块算法，有人提出了两种估计支持向量候选者的方法，用于第一个分块。对于基准数据集表现较好的方法步骤如下：
1. 对于属于类别 1 的每个数据，在特征空间中找到与类别 2 距离最小的数据（如图 5.1 (a) 所示）。
2. 在具有相同类别 2 数据的选定对中，选择距离最小的对作为支持向量候选者（如图