2022优化理论与应用---SVM

1、简单介绍 

• 支持向量机（support vector machines， SVM）是一种二分类模型。
• 它的基本模型是定义在特征空间上的间隔最大的分类，间隔最大是它有别于感知机（PLA）。
• 支持向量机的学习策略就是使间隔最大化，可形式化为一个求解凸二次规划的问题。支持向量机的学习算法是求解凸二次规划的最优化算法。

2、支持向量机的三大法宝--> 间隔 、对偶、核技巧

2.1 .1 间隔（margin）

        训练集： 

        

        分类学习最基本的思想就是基于训练集D在样本空间中找到一个划分超平面，将不同类别的样本分开，但是就如上图所示，能将训练样本分开的划分超平面有很多。支持向量机的核心问题就是怎么找到这样一个线性超平面。

        在样本空间中划分超平面可以通过如下线性方程来描述：

        其中为法向量，决定了超平面的方向。为位移项，决定了超平面与原点的距离。

        超平面可以由w和b唯一确定，我们将其记为。样本空间中任意一点x到超平面的的距离可以写为：

        假设超平面能将训练样本正确分类，在超平面之上的样本