14、支持向量机：原理、优化与应用

支持向量机：原理、优化与应用

一、引言

在机器学习中，支持向量机（SVM）是一种非常实用的工具，用于在高维特征空间中学习线性预测器。高维特征空间会带来样本复杂度和计算复杂度的挑战。SVM算法通过寻找“大间隔”分隔器来应对样本复杂度挑战，即使特征空间维度很高甚至无穷，限制算法输出大间隔分隔器也能实现较小的样本复杂度。接下来，我们将深入探讨SVM的相关内容。

二、间隔与硬SVM

1. 线性可分性与ERM假设
   • 设训练集 $S = (x_1, y_1), \ldots, (x_m, y_m)$，其中 $x_i \in R^d$ 且 $y_i \in {±1}$。若存在半空间 $(w, b)$ 使得 $y_i = sign(\langle w, x_i\rangle + b)$ 对所有 $i$ 成立，则称该训练集线性可分，此条件也可重写为 $\forall i \in [m], y_i(\langle w, x_i\rangle + b) > 0$。满足此条件的所有半空间 $(w, b)$ 都是ERM假设（其0 - 1误差为零，是可能的最小误差）。对于任何可分的训练样本，存在许多ERM半空间。
2. 间隔的概念
   • 超平面相对于训练集的间隔定义为训练集中的点与超平面之间的最小距离。如果超平面具有大间隔，那么即使对每个实例进行轻微扰动，它仍能分隔训练集。半空间的真实误差可以用其在训练样本上的间隔来界定（间隔越大，误差越小），而与该半空间所在的欧几里得维度无关。