9、支持向量机与多类分类方法解析

支持向量机与多类分类方法解析

在分类问题的研究中，支持向量机（SVM）和多类分类方法是非常重要的内容。下面将详细介绍支持向量机的相关问题以及多类分类的常见方法。

1. 支持向量机视角下的间隔感知机

在分类任务中，分离超平面的间隔是一个关键概念。分离超平面的间隔可以通过测量法向量 ( w ) 与超平面的两个等距平移的两个交点之间的距离来计算，这个距离的值为 ( \frac{2}{|w|_2} )。

2. 硬间隔支持向量机问题

为了找到具有最小长度法向量的分离超平面，我们可以将最小化 ( |w|_2^2 ) 与超平面完美分离数据的约束条件相结合。这就产生了所谓的硬间隔支持向量机约束优化问题：
[
\begin{align }
&\text{minimize} \quad |w|_2^2 \
&\text{subject to} \quad \max\left(0, 1 - y_p(b + x_p^T w)\right) = 0, \quad p = 1, \ldots, P
\end{align }
]
与之前的最小化问题不同，这里对 ( (b, w) ) 的允许值有一组约束，以确保我们找到的超平面能完美分离数据。这类问题可以使用多种优化技术来解决。

在一个线性可分的玩具数据集上，通过解决硬间隔支持向量机问题学习到的支持向量机超平面，以及位于分离超平面平移之间的缓冲区。位于缓冲区边界上的每个类的点被称为支持向量，这也是“支持向量机”名称的由来。

3. 软间隔支持向量机问题

在实际应用中，我们