深度学习核心技术精讲100篇（十三）-线性可分支持向量机中KKT最有条件理解

前言

KKT最优化条件是Karush[1939]，以及Kuhn和Tucker[1951]先后独立发表出來的。这组最优化条件在Kuhn和Tucker发表之后才逐渐受到重视，因此许多情况下只记载成库恩塔克条件（Kuhn-Tucker conditions)

库恩塔克条件(Kuhn-Tucker conditions)是非线性规划领域里最重要的理论成果之一，是确定某点为极值点的必要条件。如果所讨论的规划是凸规划，那么库恩-塔克条件也是充分条件。

本文不对数学公式进行详细推导，而是从直观上对KKT条件进行理解。当然KKT条件与拉格朗日乘子是相关联的，看完本文后，可以参阅相关资料。

无约束优化问题的极值（函数的最大值/最小值）通常发生在斜率为零的点上。

 

因此，为了找到极值，我们只需要搜索斜率为零的点。 我们可以用很好的数学形式表达这个属性。

如果 x* 是无约束优化问题的极值， 那么

▽f(x*)=0

等式约束的优化问题

如果x*是等式约束的优化问题的极值, 那么

▽f(x*)=λ×▽g(x*)

g(x*)=0

不等式约束的优化问题