26、支持向量机分类：线性与非线性模型的实践探索

支持向量机分类：线性与非线性模型的实践探索

1. 支持向量机基础概念

在支持向量机（SVM）分类中，有两个重要的参数：Gamma（γ）和 C。Gamma 决定了每个数据点的影响程度。当 Gamma 值较高时，数据点必须非常接近才能被归为一组；当 Gamma 值极高时，会出现数据点的“孤岛”现象。而 C 值则与分类错误的惩罚程度相关。

在进行大量建模之前，一个好的方法是可视化不同 Gamma 和 C 值下的决策边界，这样能让我们了解在不同超参数值下模型是否存在欠拟合或过拟合的情况。

1.1 多类分类问题

SVM 最初主要用于二分类问题，但也可以应用于多类分类。常见的方法是将多类问题转化为二分类问题，主要有一对一（One-versus-one）和一对其余（One-versus-rest）两种策略。

• 一对一分类 ：在三分类的例子中，会为每两类之间估计一个决策边界。例如，在点类、方形类和椭圆形类中，会有三条决策边界。对于有 N 个类别的情况，所需的分类器数量为 (S = \frac{N*(N - 1)}{2})。
• 一对其余分类 ：为每个类别和其余所有类别构建一个决策边界。对于有 N 个类别的情况，所需的分类器数量等于类别数 N。

以下是不同类别数量下两种分类策略所需分类器数量的对比表格：
| 类别数量（N） | 一对一分类器数量（S） | 一对其余分类器数量 |
| — | — | — |
| 3 | 3 | 3 |
| 4 | 6 | 4 |

<