支持向量机（二）

2.1、原始问题转为对偶问题

接着考虑之前得到的目标函数：

由于求的最大值相当于求的最小值，所以上述目标函数等价于（w由分母变成分子，从而也有原来的max问题变为min问题，很明显，两者问题等价）：

因为现在的目标函数是二次凸函数的，约束条件是线性的，所以它是一个凸二次规划问题。

通过拉格朗日函数将约束条件融合到目标函数里去，从而只用一个函数表达式便能清楚的表达出我们的问题。

然后令

容易验证，当某个约束条件不满足时，例如，那么显然有（只要令即可）。而当所有约束条件都满足时，则最优值为，亦即最初要最小化的量。

因此，在要求约束条件得到满足的情况下最小化，实际上等价于直接最小化（当然，这里也有约束条件，就是）   ，因为如果约束条件没有得到满足，会等于无穷大，自然不会是我们所要求的最小值。

具体写出来，目标函数变成了：

这里用表示这个问题的最优值，且和最初的问题是等价的。如果直接求解，那么一上来便得面对w和b两个参数，而又是不等式约束，这个求解过程不好做。不妨把最小和最大的位置交换一下，变成：

交换以后的新问题是原始问题的对偶问题，这个新问题的最优值用来表示。而且有≤，在满足KKT条件的情况下，这两者相等，这个时候就可以通过求解对偶问题来间接地求解原始问题。

2.2、对偶问题的求解

分为3个步骤：首先要让L(w，b，a) 关于 w 和 b 最小化，然后求对的极大，最后利用SMO算法求解对偶问题中的拉格朗日乘子。

①首先固定，要让 L 关于 w 和 b 最小化，我们分别对w，b求偏导数，即令 ∂L/∂w 和 ∂L/∂b 等于零

将以上结果代入之前的L 

得到：

其具体推导过程:

最后，得到：

“倒数第4步”推导到“倒数第3步”使用了线性代数的转置运算，由于ai和yi都是实数，因此转置后与自身一样。“倒数第3步”推导到“倒数第2步”使用了(a+b+c+…)(a+b+c+…)=aa+ab+ac+ba+bb+bc+…的乘法运算法则。

从上面的最后一个式子，我们可以看出，此时的拉格朗日函数只包含了一个变量，那就是

②求对的极大，即是关于对偶问题的最优化问题。经过上面第一个步骤的求w和b，得到的拉格朗日函数式子已经没有了变量w，b，只有。从上面的式子得到：

这样，求出了，根据，即可求出w，然后通过，即可求出b，最终得出分离超平面和分类决策函数。

③在求得L(w, b, a) 关于 w 和 b 最小化，以及对的极大之后，最后一步则可以利用SMO算法求解对偶问题中的拉格朗日乘子。

2.3、接下来的问题

①2.2节中b值的求法不理解

②SMO算法

③线性不可分的情况怎么处理