13、支持向量机变体：特性、性能与训练方法解析

支持向量机变体：特性、性能与训练方法解析

在机器学习领域，支持向量机（SVM）是一种强大的分类工具。然而，为了适应不同的应用场景和数据特点，人们提出了多种支持向量机的变体。本文将详细介绍几种常见的支持向量机变体，包括最小二乘支持向量机（LS SVM）、线性规划支持向量机（LP SVM）、增量训练方法、鲁棒支持向量机以及贝叶斯支持向量机。

1. 最小二乘支持向量机（LS SVM）

LS SVM是对传统支持向量机的一种改进，它使用等式约束代替了不等式约束。

1.1 性能比较

通过对多个数据集（如Iris、Numeral、Thyroid等）的测试，比较了“一对多”（One-against-all）、“成对”（Pairwise）和“一次性”（All-at-once）三种LS SVM的性能。具体数据如下表所示：
| 数据 | 项目 | 一对多 | 成对 | 一次性 |
| — | — | — | — | — |
| Iris | Parm | γ1, C104 | d1, C50 | d3, C104 |
| | Min | 96.00 | 97.33 | 92.00 |
| | Avg. | 96.00 | 98.67 | — |
| Numeral | Parm | γ10, C50 | d1, C10 | γ0.1, C500 |
| | Min | 99.39 | 99.27 (99.75) | 99.02 (99.75) |
| | Avg. | 99.39 | 99.76 | — |
| Thyroid | Parm | γ10, C105 | γ10, C105