22、支持向量机：模式识别、变体与实验

支持向量机：模式识别、变体与实验

1. 多类分类方法概述

在模式识别中，多类分类是一个重要的研究方向。有一种多类分类方法，其准确率与广泛使用的一对其余（one - versus - the - rest）方法相当。不过，该方法的优化问题需要同时处理所有支持向量（SV），而其他方法中，单个二分类器的支持向量集通常较小，这有利于缩短训练时间。

对于多类分类问题，目前可能没有一种方法能全面优于其他方法。在实际应用中，选择合适的方法取决于具体的约束条件，相关因素包括所需的准确率、开发和训练的可用时间以及分类问题的性质。例如，对于类别众多的问题，使用某些特定方法可能并不明智。而简单的一对其余方法往往能产生可接受的结果。

2. 标准SV分类算法的变体——线性规划机器

标准的支持向量机（SVM）分类算法有多种变体，这里主要介绍线性规划机器。SVM方法会自动产生形如（7.25）的决策函数，可重写为 $f(x) = \text{sgn}(g(x))$，其中：
[g(x) = \sum_{i = 1}^{m} \alpha_{i}k(x - x_{i}) + b]

线性规划（LP）机器的思路是使用核展开作为解的假设，但采用不同的正则化项，即系数向量的 $l_1$ 范数。这样做的主要动机是，$l_1$ 正则化项能诱导稀疏展开。

其目标函数为：
[R_{reg}[g] = \frac{1}{m} |\alpha| 1 + C R {emp}[g]]
其中，$|\alpha| 1 = \sum {i = 1}^{m} |\alpha_{i}|$ 表示系数空间的 $l_1