周志华《机器学习》同步学习笔记 ——第六章 支持向量机

6.1 间隔与支持向量

定义：   1.分类学习中应找到两类训练样“正中间”的划分超平面（泛化能力最强）

              2. 样本空间中任意点$x$到超平面$（\omega ，b）$的距离
              3.支持向量：使等号成立的离超平面最近的训练样本点
              4.间隔：两个异类支持向量到超平面的距离之和
$$\gamma =\frac{2}{\Vert \omega \Vert }$$               5.支持向量机（SVM）基本型：最大化间隔以使分类结果最鲁棒

6.2 对偶问题

得到对偶问题

SVM的基本型是一个凸二次规划问题，先用拉格朗日乘子得出其对偶问题

注意这是个有不等式约束的问题，需要满足KKT条件
最终解得模型 f ( x ) = ω T x + b = ∑ i = 1 m α i y i x i T x + b f(x)=\omega ^{T}x+b =\sum_{i=1}^{m} \alpha_{i}y_{i}\mathbf{x_{i}^{T}x}+b f(x)=ωTx+b=i=1∑m​αi​yi​x