11、支持向量机架构对比及最小二乘支持向量机详解

支持向量机架构对比及最小二乘支持向量机详解

支持向量机架构对比

在多分类支持向量机中，不同的架构有着各自的特点和性能表现。

ECOC支持向量机

对于一个 $n$ 类问题，若训练数据可被ECOC支持向量机分离，那么对于第 $k$ 个决策函数，会有一类集合 $L_1$ 与另一类集合 $L_2$ 被分开，且 $L_1 ∩ L_2 = {\ 1, \cdots, n\ }$，这意味着 $L_1$ 中的任何类都能与 $L_2$ 中的任何类分开。假设存在一对类 $i$ 和 $j$ 不可分离，即它们在所有决策函数的同一侧，但ECOC不会对这样的 $i$ 和 $j$ 进行分类，所以这种情况不会出现。由于ECOC支持向量机是一对多支持向量机的扩展，反之则不一定成立。

一对多与一次性支持向量机对比

当分类问题可被一对多支持向量机分离时，一对多支持向量机中，对于属于类 $i$ 的 $x$，决策函数 $D_i(x) > 1$；否则 $D_i(x) < -1$。而通过连续决策函数或模糊隶属函数进行分类时，若满足 $D_i(x) > D_j(x)$（$j \neq i$，$j = 1, \cdots, n$），则 $x$ 被分类到类 $i$。这与一次性支持向量机的约束条件相同，因此可以估计一对多和一次性支持向量机得到的决策边界非常相似。

对于三类问题，可被一次性支持向量机分离的训练数据也可被成对支持向量机分离，反之亦然。但一般来说，约束条件较少的少量数据的分离比大量数据的分离更容易，所以成对支持向量机比一次性支持向量机更容易分离训练数据。考虑到一次性支持向量机与一对多支持向量机的决策函数相似，且训练更困难，因此一次性支持向