机器学习之SVM算法（一）KKT条件

前言

　　本文旨在详细介绍KKT条件的推导和计算方法。
　　拉格朗日算子常用语等式约束最优化的求解中，是KKT条件的特殊形式。KKT条件用于含有不等式约束的条件下的优化问题，例如SVM算法。要深入理解SVM算法必需深入理解KKT条件，本文尝试使用简单易懂的方法向读者介绍KKT条件的推导和使用方法。博主尽量使用图形来阐述KKT条件的深层内涵，数学功底较弱的读者可直接跳过推导过程看结论和例子。

拉格朗日乘子法

　　考虑如下约束条件下的：
　　

$$\begin{array}{l} \mathop {min}\limits_x \qquad f(x)\\ s.t. \qquad {h_i}(x) = 0 \qquad i = 1,2, \cdots k \end{array}$$
　　其中：
　　 $$x \in {\Re ^n}$$
　　本博客以二元函数为例介绍拉格朗日乘子法的推导过程。
　　考虑如下优化问题： $f({x},{y})$满足约束 $h({x},{y}) = 0$
　　如果在 $(x_0,y_0)$处取得极值，那么有:
　　 $$h(x_0,y_0) = 0$$
　　约束条件确定一个连续且具有连续导数的函数：
　　 $${y} = \varphi ({x})$$
　　这时，原问题为：
　　 $$f({x},\varphi ({x}))$$
　　上式在 $(x_0,y_0)$处取得极值，由一元可导函数取得极值的必要条件知道：
　　

fx(x0,y0)+fy(