11、多类支持向量机：原理、方法与性能评估

多类支持向量机：原理、方法与性能评估

在机器学习领域，支持向量机（SVM）最初是为二类问题设计的。然而，在实际应用中，我们常常会遇到多类分类问题。将支持向量机扩展到多类问题并非易事，因为它采用的是直接决策函数。接下来，我们将详细探讨处理多类问题的支持向量机类型、相关方法以及它们的性能评估。

1. 多类支持向量机的类型

处理多类问题的支持向量机大致可分为以下四种类型：
1. 一对多支持向量机
2. 成对支持向量机
3. 纠错输出码（ECOC）支持向量机
4. 一次性支持向量机

一对多支持向量机将一个 $n$ 类问题转化为 $n$ 个二类问题，对于第 $i$ 个二类问题，将第 $i$ 类与其余类分开。但使用离散决策函数时，会存在不可分类区域。成对支持向量机则将 $n$ 类问题转化为 $n(n - 1)/2$ 个二类问题，涵盖所有类对，但同样存在不可分类区域。

为解决不可分类区域的问题，我们可以引入隶属函数、决策树或纠错输出码，或者一次性确定决策函数。特别是对于一对多支持向量机，如果使用连续决策函数而非离散决策函数，不可分类区域问题就能得到解决。

2. 一对多支持向量机

2.1 传统支持向量机

考虑一个 $n$ 类问题，一对多支持向量机需要确定 $n$ 个直接决策函数，将一个类与其余类分开。第 $i$ 个决策函数为：
$D_i(x) = w_i^T \varphi(x) + b_i$
其中，$w_i$ 是 $l$ 维向量，$\varphi(x)$ 是将 $x$ 映射到 $l$ 维特征空间的映射函数，$b_i$ 是偏置项。