SVM2

线性分类器的求解

上节说到线性分类函数，也有了判断解优劣的标准–即有了优化的目标，这个目标就是最大化几何间隔。

1.SVM优化的目标有最小化||w||，我们常常使用另一个完全等价的目标函数来代替，那就是：

2.对于目标函数，要考虑如下的约束条件：

其中l是样本数。

3.在上面的求解过程中，可以看到自变量是w，而目标函数是w的二次函数，这种规划问题叫做二次规划，可以更进一步的说，它的可行域是一个凸集，故也被称为凸二次规划。

对于求最优化的问题。我们知道一个最简单的不带任何约束的函数，那就是求导找极值点。或者带一个等式的条件约束，可以用构造拉格朗日函数。

样本确定了w，用数学的语言描述，就是w可以表示为样本的某种组合：

上式中ai是一个一个的数，a被称为拉格朗日乘子，而xi是样本点，n是总样本点的个数。

我们知道，w还与类别有关

则样本点到超平面的间隔可以表示为：

这样我们把求w的问题转化为了求a的问题。