拉格朗日乘子法与对偶问题

拉格朗日乘子法与对偶问题

1、原始问题

假设$f(x), g_i(x), h_j(x)$ 是定义在$R^n$ 上的连续可微函数，考虑约束最优化问题：

$min f(x)$

$s.t. g_i(x)≤0， i = 1, 2,……，n$

$s.t. h_j(x)=0， i = 1, 2,……，m$

称为约束最优化问题的原始问题。

引入广义拉格朗日函数：

$L(x,\lambda , \beta) = f(x)+\sum_{i=1}^n \lambda _i g_i(x)+\sum_{j=1}^m \beta_j h_j(x)$

要求$\lambda_i ≥ 0$,$\lambda_i, \beta_j$ 是拉格朗日乘子。

原问题就变成了：

$min_x L(x,\lambda, \beta)$

2、原问题分析

在上面的问题中，求解最优值对应的$x$, 还需要知道$\lambda_i, \beta_j$ 。

现在，把$L(x,\lambda, \beta)$ 看作是关于$\lambda, \beta$ 的函数，要求其最大值，即

$max_{\lambda≥ 0,\beta} L(x,\lambda, \beta)$

在此优化过程中将$x$ 看作常量，确定了$\lambda_i, \beta_j$ 后，就得到$L$函数的最大值，最后只需要求关于x的有关函数最优解就行。为什么拉格朗日函数能这样求解后等价于原问题呢？令$\theta_p (x) = max_{\lambda≥ 0,\beta} L(x,\lambda, \beta)$， 因为对于$max_{\lambda≥ 0,\beta} L(x,\lambda, \beta)$这个问题,当$x$违反了原始问题的约束，那么$g_i(x)≥ 0或者h_j(x) ≠ 0$，那么$\lambda_i, \beta_j$很容易取值使$max_{\lambda≥ 0,\beta} L(x,\lambda, \beta)$这个问题就趋于无穷大，所以考虑$x$满足原始的约束，要使得 $L(x,\lambda, \beta)$取最大则$\lambda _ig_i(x) = 0$且$h_i(x) = 0$ ， 那么$\theta_p (x) = max_{\lambda≥ 0,\beta} L(x,\lambda, \beta)=f(x)$.

在$x$满足约束下，$min_x \theta_p(x) = min_x f(x)$, $min_x \theta_p(x)$可以代表原始问题，定义$x^*$,P分别为$min_x \theta_p(x)$问题的最优解、最优值。

3、对偶问题

如果这个拉格朗日函数能很容易求解？直接求导就能得到最优解，但是这个问题不容易求解时，就需要找到拉格朗日函数的对偶问题就行求解。为什么这样可行？接下来进行解释：

对偶问题形式：

令$\theta_d (\lambda, \beta) = min_x L(x,\lambda, \beta)$， 注意这里的角标变化（和上面的进行对比），然后

$max_{\lambda, \beta}\theta_d (\lambda, \beta) = max_{\lambda, \beta}min_x L(x,\lambda, \beta)$

这就是原始问题的对偶问题，再和原问题$min_x \theta_p(x) = min_x max_{\lambda≥ 0,\beta} L(x,\lambda, \beta)$进行对比。

这里就可以发现原始问题和对偶问题只不过是先优化$x$, 还是$\lambda ,\beta$的问题。

定义$(\lambda^*,\beta^*)$,D分别为对偶问题$max_{\lambda, \beta}\theta_d (\lambda, \beta)$的最优解、最优值。

4、原始问题和对偶问题的关系：

$\theta_d (\lambda, \beta) = min_x L(x,\lambda, \beta)≤ L(x,\lambda, \beta)≤ max_{\lambda≥ 0,\beta} L(x,\lambda, \beta) = \theta_p(x)$

那么D≤P。也就是说原始问题的最优值不小于对偶问题的最优值。

5、强对偶性

强对偶性，就是说D=P，也就是说原始问题的最优值等于对偶问题的最优值。利用强对偶性，可以通过求解对偶问题的最优解从而知道原始问题的最优解，一般认为凸规划（不是所有）具有强对偶性。

6、强对偶性存在的KKT条件

那么对应第1点当中的原始问题，具有强对偶性，即$D=P=L(x^*, \lambda^*,\beta^*)$ 。

那么$x^*, (\lambda^*,\beta^*)$分别是原始问题和对偶问题的最优解的充要条件是$x^*, \lambda^*,\beta^*$满足KKT条件：

$\nabla L_x(x^*, \lambda ^*, \beta^*)=0$ (1)

$\nabla L_\lambda(x^*, \lambda ^*, \beta^*)=0$ (2)

$\nabla L_\beta(x^*, \lambda^* , \beta^*)=0$ (3)

$\lambda_i^* g_i(x^*)=0$ (4)

$\lambda_i^*≥ 0$ (5)

$g_i(x^*)≤0$ (6)

$h_j(x^*)=0$ (7)

以上7个条件一起合为KKT条件，其中第4个条件是KKT对偶互补的条件。前3个条件可以总写为$\nabla f(x)+\sum_{i=0}^n\lambda_i \nabla g_i(x)+\sum_{j=0}^m\beta_j\nabla h_j(x)=0$

这样一看KKT条件不就是KT条件嘛(所以先看懂了KT条件的推导，这里理解起来就很简单了)，注意只有凸规划才能说KKT是充要条件，其他的只能是必要条件，因为其他规划的极值点也满足KT条件。