14、支持向量机架构比较与最小二乘支持向量机详解

支持向量机架构比较与最小二乘支持向量机详解

1. 支持向量机架构比较

1.1 决策边界比较

在支持向量机的不同架构中，一对多（one-against-all）和一次性（all-at-once）支持向量机的决策边界较为相似。对于将样本 $x$ 分类到类别 $i$ 的情况，一对多和一次性支持向量机存在相同的约束条件。通过比较相关的决策边界图（如图 3.21 和 3.22）可以推测出这一结论。

对于三类问题，一次性支持向量机能分离的训练数据，成对（pairwise）支持向量机也能分离，反之亦然。不过，通常情况下，处理较少数据和较少约束条件的分离任务相对容易。所以，成对支持向量机对训练数据的分离能力更强。

考虑到一次性支持向量机与一对多支持向量机的决策函数相似，且一次性支持向量机的训练难度更大，因此在选择分类器时，一次性支持向量机应作为最后选择。

1.2 训练时间比较

为了评估支持向量机的训练时间，使用了一些数据集进行测试。在解决优化问题时，对于 MNIST 数据集每次增加 200 个数据，对于其他数据集每次增加 50 个数据。采用原始 - 对偶内点法结合分解技术来解决二次规划问题，并将边缘参数 $C$ 的值设置为 5000。使用 Athlon（1 GHz）计算机处理 MNIST 数据集，使用 Pentium III（933 MHz）计算机处理其他数据集。

以下是不同数据集下一对多和成对支持向量机的训练时间比较：
| 数据 | 核函数 | 一对多（s） | 成对（s） | 比率 |
| — | — | — | — | — |
| Thyroid | d4 | 44 | 5