支持向量机与SMO优化算法

1 算法概述

1.1 工作原理

类似于感知机，用一个分离超平面将正负类分开，不同之处在于，感知机只是要求分开正负类，而支持向量机要求找出分离间隔最大的超平面。

1.2 三要素

模型：超平面分类决策模型

策略：分类间隔最大化、合页损失函数最小化

算法：凸二次规划、序列最小化算法（SMO）

1.3 线性可分支持向量机与硬间隔

1.3.1 函数间隔和几何间隔

我们定义函数间隔为  ，超平面为 

如果我们成比例的改变 w 和 b，超平面没有任何变化，但是函数间隔却同比增大或减小，这是没有意义的，所以无法把函数间隔当做优化目标。但我们可以对法向量w增加一些约束，这时函数间隔成为几何间隔。