11、多类支持向量机的深入解析与性能对比

多类支持向量机的深入解析与性能对比

1. 误差校正输出编码（ECOC）支持向量机

1.1 误差校正码的输出编码

Dietterich和Bakiri提出使用误差校正输出码解决多类问题。对于第 $i$ 类（$i = 1, \ldots, n$）的第 $j$ 个决策函数 $D_j(x)$，目标值 $g_{ij}$ 定义如下：
[
g_{ij} =
\begin{cases}
1, & \text{如果 } D_j(x) > 0 \text{ 对于类 } i \
-1, & \text{否则}
\end{cases}
]
第 $j$ 列向量 $\mathbf{g} j = (g {1j}, \ldots, g_{nj})^T$ 是第 $j$ 个决策函数的目标向量。若一列元素全为 1 或 -1，则该决策函数不进行分类，且 $\mathbf{g}_i = -\mathbf{g}_j$ 会得到相同的决策函数，所以不同决策函数的最大数量为 $2^{n - 1} - 1$。

第 $i$ 行向量 $(g_{i1}, \ldots, g_{ik})$ 对应类 $i$ 的码字，其中 $k$ 是决策函数的数量。在误差校正码中，若码字对之间的最小汉明距离为 $h$，则该码至少能纠正 $\lfloor (h - 1) / 2 \rfloor$ 位错误。对于三类问题，最多有三个决策函数，如表 3.6 所示，这等价于一对多的形式，且无误差校正能力，因此 ECOC 被视为一对多分类的变体。

类别	$