Lagrange乘子法与KTT条件

Lagrange乘子法与KTT条件

Date: 2021.11.20.

参考文献：

https://blog.youkuaiyun.com/lijil168/article/details/69395023

引言

在求解最优化问题中，拉格朗日乘子法和KTT（Karush Kuhn Tucker）条件是两种常用的方法。在有等式约束的条件下使用前者，有不等式约束情况下使用后者。

1.1 无约束优化问题

这是最简单的情况，解决方法为对函数求导，令求导函数等于0的点可能是极值点，将结果代回原函数进行验证即可。

1.2 等式约束条件

设目标函数为$f(x)$，约束条件为$h_k(x)$，则问题：
$$\begin{gathered} \min f(x) \\ s.t.h_k(x)=0k=1,2,\cdots ,l \end{gathered}$$
的解决方法为消元法或者拉格朗日乘子法。消元法较为简单，故不再赘述，此处主要引入拉格朗日乘子法。

首先定义拉格朗日函数$F(x)$:
$$F(x,\lambda )=f(x)+\sum _{k=1}^l{\lambda }_k{h}_k(x)$$
其中${\lambda }_k$是各个约束条件的待定系数。

然后求解偏导方程：
$$\begin{gathered} \frac{\partial F}{\partial x}=0i=1,\cdots ,n \\ \frac{\partial F}{\partial {\lambda }_k}=0k=1,\cdots ,l \end{gathered}$$
如果有$l$个约束条件，就应该有$l+1$个方程，求出方程组的解得出可行解，代回原方程验证即得最优解。

1.3 不等式约束条件

设目标函数为$f(x)$，不等式约束为$g(x)$，有的书上还会加上等式约束$h(x)$，则约束优化问题描述如下：
$$\begin{gathered} \min f(x) \\ s.t.h_j(x)=0j=1,\cdots ,p \\ {g}_k(x)\le 0k=1,\cdots ,q \end{gathered}$$
则我们定义上述问题的拉格朗日函数：
$$L(x,\lambda ,\mu )=f(x)+\sum _{j=1}^p{\lambda }_j{h}_j(x)+\sum _{k=1}^q{\mu }_k{g}_k(x)$$
常用的方法是KKT条件，

以下是KTT条件的推导过程：

---

• 证明（KTT条件）：

令：
$$L(x,\mu )=f(x)+\sum _{k=1}^q{\mu }_k{g}_k(x)$$
其中，${\mu }_k\ge 0$，$g_k(x)\le 0$.

由于
$$\{\begin{array}{ll}& {\mu }_k\ge 0\\ & g_k(x)\le 0\end{array}\Rightarrow \mu g(x)\le 0\text{\hspace{1em}(1)}$$
故
$$\underset{\mu }{\max }L(x,\mu )=f(x)\text{\hspace{1em}(2)}$$
因此
$$\underset{x}{\min }f(x)=\underset{x}{\min }\underset{\mu }{\max }L(x,\mu )\text{\hspace{1em}(3)}$$
又由$(1)$式，我们有：
$$\underset{x}{\min }\mu g(x)=\{\begin{array}{llccc}& 0& \mu =0& or& g(x)=0\\ & -\infty & \mu >0& and& g(x)<0\end{array}$$
因此：
$$\begin{gathered} \underset{\mu }{\max }\underset{x}{\min }\mu g(x)=0 \\ \mu =0org(x)=0 \end{gathered}$$
故：
$$\begin{gathered} \underset{\mu }{\max }\underset{x}{\min }L(x,\mu )=\underset{x}{\min }f(x)+\underset{\mu }{\max }\underset{x}{\min }\mu g(x)=\underset{x}{\min }f(x) \\ \mu =0org(x)=0\text{\hspace{1em}(4)} \end{gathered}$$
联合$(3),(4)$式我们得到：
$$\underset{x}{\min }\underset{\mu }{\max }L(x,\mu )=\underset{\mu }{\max }\underset{x}{\min }L(x,\mu )=\underset{x}{\min }f(x)$$
我们把${\min }_x{\max }_{\mu }L(x,\mu )$称为原问题，${\max }_{\mu }{\min }_{x}L(x,\mu )$称为对偶问题，上式表明当满足一定条件时，原问题、对偶问题的解，以及${\min }_{x}f(x)$是相同的，且在最优解$x^{\ast }$处$\mu =0$ or $g(x^{\ast })=0$，把$x^{\ast }$代入$(2)$得到${\max }_{\mu }L(x^{\ast },\mu )=f(x^{\ast })$，由$(4)$得到${\max }_{\mu }{\min }_{x}L(x,\mu )={\min }_{x}f(x^{\ast })$，所以$L(x^{\ast },\mu )={\min }_{x}L(x,\mu )$，这说明$x^{\ast }$也是$L(x,\mu )$的极值点，即：
$$\frac{\partial L(x,\mu )}{\partial x}{|}_{x=x^{\ast }}=0$$
综上讨论，有：
$$\{\begin{array}{ll}& {\min }_x{\max }_{\mu }L(x,\mu )={\max }_{\mu }{\min }_{x}L(x,\mu )={\min }_{x}f(x)=f(x^{\ast })\\ & {\mu }_k{g}_k(x^{\ast })\le 0\\ & \frac{\partial L(x,\mu )}{\partial x}{|}_{x=x^{\ast }}=0\end{array}$$
如果我们考虑等式约束：
$$L(x,\lambda ,\mu )=f(x)+\sum _i^n{\lambda }_i{h}_i(x)+\sum _{k=1}^q{\mu }_k{g}_k(x)$$
则有：
$$\{\begin{array}{ll}& {\min }_x{\max }_{\mu }L(x,\lambda ,\mu )={\max }_{\mu }{\min }_{x}L(x,\lambda ,\mu )={\min }_{x}f(x)=f(x^{\ast })\\ & {\mu }_k{g}_k(x^{\ast })\le 0\\ & \frac{\partial L(x,\lambda ,\mu )}{\partial x}{|}_{x=x^{\ast }}=0\end{array}$$
Q.E.D.