12、成对支持向量机及其变体详解

成对支持向量机及其变体详解

1. 引言

在多分类问题中，支持向量机（SVM）是一种强大的分类工具。成对支持向量机（Pairwise Support Vector Machines）旨在减少一对多支持向量机中出现的不可分类区域，但不可分类区域仍然存在。为了解决这些问题，我们将探讨模糊支持向量机和基于决策树的支持向量机等变体。

2. 传统成对支持向量机

在成对支持向量机中，我们为所有类对的组合确定决策函数。在确定一个类对的决策函数时，我们使用相应两个类的训练数据。与一对多支持向量机相比，每次训练时使用的训练数据数量显著减少，但决策函数的数量为$n(n - 1)/2$，其中$n$是类的数量。

决策函数定义如下：
设类$i$对类$j$的最大间隔决策函数为：
$D_{ij}(x) = w_{ij}^T \varphi(x) + b_{ij}$
其中$w_{ij}$是$l$维向量，$\varphi(x)$是将$x$映射到$l$维特征空间的映射函数，$b_{ij}$是偏置项，且$D_{ij}(x) = -D_{ji}(x)$。

区域$R_i$定义为：
$R_i = {x | D_{ij}(x) > 0, j = 1, \ldots, n, j \neq i}$
对于$i = 1, \ldots, n$，这些区域不重叠。如果$x$在$R_i$中，则认为$x$属于类$i$。但问题是，$x$可能不在任何$R_i$中。我们通过投票来对$x$进行分类，即对于输入向量$x$，我们计算：
$D_i(x) = \sum_{j \neq i, j = 1}^{n} sign(D_{ij}(x))$