18、支持向量机的多类分类与回归应用

支持向量机的多类分类与回归应用

1. 多类分类方法概述

在处理分类问题时，支持向量机本质上是用于二分类的。不过，有几种方法可以将其应用于多类分类问题：
- 一对其余（One-versus-the-rest）分类 ：这种方法是将多类分类问题拆分成多个二分类问题，每个二分类问题是将一个类与其余所有类进行区分。
- 成对（Pairwise）分类 ：对每两个类之间都构建一个二分类器，最后通过投票等方式确定最终类别。
- 纠错输出码（Error-correcting output codes）分类 ：它扩展了一对其余分类方法，能更精细地控制决策面的构建，进而用于未知点的分类。
- 多目标支持向量机（Multiobjective support vector machine） ：直接将支持向量机的理论从二分类模型扩展到多类模型，训练算法是一个多目标优化问题。

但纠错输出码分类和多目标支持向量机这两种方法虽然理论性质良好，但由于计算复杂度较高，在实际中并不常用。

工具支持情况

• WEKA ：其 GUI 不支持 SMO 分类器的多类分类，但可以使用 Java SDK 版本实现多类分类。
• R ：使用的包直接支持成对多类分类。

练习

以下是一些相关练习：
1. 选择一个支持向量机实现，使用一对其余分类方法将其扩