13、多类支持向量机的架构与性能分析

多类支持向量机的架构与性能分析

在模式分类领域，支持向量机（SVM）是一种强大的工具。为了解决多类分类问题，人们提出了多种支持向量机的架构，包括一对一（One-Against-All）、成对（Pairwise）、纠错输出码（ECOC）和一次性（All-at-Once）支持向量机。下面将详细介绍这些架构的特点、性能以及训练难度。

1. 成对支持向量机

成对支持向量机通过比较每对类别的分类器输出进行分类。在成对分类中，对于类 $i$ 和 $j$ 的分类器，会生成输入 $x$ 属于类 $i$ 的概率估计 $p_{ij}(x)$，且 $p_{ji}(x) = 1 - p_{ij}(x)$。通过以下公式可以估计 $x$ 属于类 $i$ 的概率 $p_i(x)$：
[p_i(x) = \frac{2}{n (n - 1)} \sum_{j \neq i, j = 1}^{n} p_{ij}(x)]
这种分类方法称为成对耦合分类，由于 $p_i(x)$ 是连续的，因此不会出现无法分类的区域。

然而，成对耦合分类可能会受到 $p_{ij}(x)$ 或 $p_{ji}(x)$ 的误导。为了避免这种情况，引入了校正分类器。除了分离类 $i$ 和 $j$ 的成对分类器外，还生成一个将类 $i$ 和 $j$ 与其余类分离的分类器。其输出为 $q_{ij}(x)$，表示 $x$ 属于类 $i$ 或 $j$ 的概率。此时，$p_i(x)$ 的计算公式为：
[p_i(x) = \frac{2}{n (n - 1)} \sum_{j \neq i, j = 1}^{n} p_{ij}(x) q_{ij}(x)]
通过乘以 $q_{ij}(x)$，当 $x$ 不属于类 $i