21、线性支持向量机与软间隔最大化详解

线性支持向量机与软间隔最大化详解

1. 支持向量机面临的问题

在实际应用中，样本数据常常是线性不可分的，即样本中存在噪声或特殊情况。对于线性可分问题的支持向量机（SVM）学习方法，在处理线性不可分的训练数据时会失效，因为之前方法中的不等式约束并非都能成立。那么，如何将其扩展到线性不可分问题呢？这就需要将硬间隔最大化修改为软间隔最大化。

1.1 线性支持向量机的引入

假设给定特征空间上的训练数据集：
$T = { (x_1, y_1), (x_2, y_2), \cdots, (x_N, y_N) }$
其中，$x_i \in \mathcal{X} = \mathbb{R}^n$，$y_i \in \mathcal{Y} = { +1, -1 }$，$i = 1, 2, \cdots, N$。$x_i$ 是第 $i$ 个特征向量，$y_i$ 是 $x_i$ 的类标签。假定训练数据集是线性不可分的，通常训练数据中会存在一些异常点，去除这些异常点后，剩余的大部分样本点集是线性可分的。

线性不可分意味着某些样本点 $(x_i, y_i)$ 无法满足函数间隔大于等于 1 的约束条件。为了解决这个问题，我们为每个样本点 $(x_i, y_i)$ 引入一个松弛变量 $\xi_i \geq 0$，使得函数间隔加上松弛变量大于等于 1。这样，约束条件变为：
$y_i (w \cdot x_i + b) \geq 1 - \xi_i$

同时，对于每个松弛变量 $\xi_i$，需要付出代价 $\xi_i$。目标函数从原来的 $\frac{1}{2} | w |^2$ 变为：
$\frac{1}{2} | w |^2