9、多类支持向量机：原理、方法与性能评估

多类支持向量机：原理、方法与性能评估

在机器学习领域，多类支持向量机是解决多分类问题的重要工具。本文将详细介绍多类支持向量机的几种常见方法，包括一对一（One-against-All）、一对多（Pairwise）等，并对它们的性能进行评估。

1. 一对一支持向量机

一对一支持向量机在多分类问题中，通过构建多个二分类器来实现多分类。具体来说，对于一个有 $n$ 个类别的问题，会训练 $n$ 个二分类器，每个分类器将一个类别与其余所有类别分开。

当满足 $ma_i (x) > ma_j(x)$（其中 $j \in N_1 \cup N_2$）时，输入 $x$ 会被模糊支持向量机（使用平均运算符）分类到类别 $i$。可以证明，具有连续决策函数的一对一支持向量机与使用最小或平均运算符的模糊支持向量机是等价的。

然而，一对一支持向量机存在无法分类的区域。为了解决这个问题，引入了基于决策树的支持向量机。

1.1 基于决策树的支持向量机

基于决策树的支持向量机通过训练 $n - 1$ 个支持向量机来解决一对一支持向量机中的无法分类区域问题。第 $i$ 个（$i = 1, \cdots, n - 1$）支持向量机用于将类别 $i$ 的数据与类别 $i + 1, i + 2, \cdots, n$ 中的一个类别数据分开。

分类过程从第一个支持向量机开始，依次进行到第 $(n - 1)$ 个支持向量机。如果第 $i$ 个支持向量机将一个数据分类到类别 $i$，则分类过程终止；否则，继续进行分类，直到数据被分类到确定的类别。

决策树的结构对分类性能有重要影响。由于决策树的上层节点误分类的数据越