13、支持向量机（SVM）：原理、扩展与应用

支持向量机（SVM）：原理、扩展与应用

支持向量机（SVM）是一类重要的判别模型，其最初的概念源于为线性可分情况寻找最大间隔分离超平面，与感知机算法有相似之处。但SVM的强大之处在于它能很好地扩展到复杂场景。下面将详细介绍线性SVM、软间隔SVM和非线性SVM。

1. 线性SVM

对于线性可分的数据，我们可以使用简单的感知机算法找到一个能完美分离训练样本的超平面。然而，感知机算法通常不会得到最大间隔超平面。最大间隔超平面在分离训练样本时与其他超平面效果相同，但在对未见过的数据进行分类时具有优势，它能实现与所有训练样本的最大分离距离，对数据中的噪声更具鲁棒性，并且通常具有更好的泛化能力。

为了找到最大间隔超平面，我们使用仿射函数 (y = w^⊺x + b) 。样本 (x_i) 到超平面 (y = w^⊺x + b) 的距离为 (\frac{|w^⊺x_i + b|}{||w||}) ，若样本被超平面正确分类，可表示为 (\frac{y_i(w^⊺x_i + b)}{||w||}) 。对于线性可分的训练集 (D_N) ，超平面与所有样本的最小分离距离为：
(\gamma = \min_{x_i \in D_N} \frac{y_i(w^⊺x_i + b)}{||w||})

这就引出了一个最大最小优化问题：
({w^ , b^ } = \arg \max_{w,b} \gamma = \arg \max_{w,b} \min_{x_i \in D_N} \frac{y_i(w^⊺x_i + b)}{||w||})

将未知的最大间隔 (\gamma) 作为新的自由变量，可将上述问题转化为标准的约束优化问题