14、支持向量机的变体与训练方法

支持向量机的变体与训练方法

1. 支持向量机的变体

支持向量机有多种变体，每种变体都有其独特的改进方向。

1.1 基于虚拟支持向量的支持向量机

有一种支持向量机使用虚拟支持向量，该方法提高了手写数字分类的泛化能力，但由于支持向量数量增加，分类时间也相应增加。为缩短分类时间，Burges和Schölkopf提出用较小的数据集来近似决策函数。

1.2 提高类可分性的方法

Amari和Wu提出通过将$H(x, x’)$替换为$\tilde{H}(x, x’) = c(x) c(x’) H(x, x’)$来扩大支持向量周围的区域，其中$c(x)$是一个正标量函数，例如$c(x) = \sum_{i=1}^{M} \alpha_i \exp(-\parallel x - x_i \parallel / 2\tau^2)$，$\tau$是一个参数。通过这种方式，支持向量在特征空间周围的体积得到扩展，从而提高了类可分性。

1.3 LS支持向量机的偏置项调整

在LS支持向量机中，确定超平面的偏置项后，会进一步调整以提高分类准确率。

1.4 贝叶斯支持向量机

传统支持向量机将最优超平面置于不同类支持向量的中间，这是因为训练数据由单一未知概率分布生成。如果已知每个类的分布，就可以根据贝叶斯理论提高泛化能力。假设类数据在垂直于最优超平面方向上服从正态分布，此时最优分离超平面不再最优，由贝叶斯理论确定的边界才是最优的。通过将最优超平面平行移动到贝叶斯理论确定的位置，可提高泛化能力。

• 一维贝叶斯决策函数