关于拉格朗日对偶问题中对偶性的理解

首先说明本文讨论用的符号，拉格朗日函数：

$$L(x,\lambda,\nu)=f_0(x)+\sum\lambda_if_i(x)+\sum \nu_ih_i(x)$$

对偶问题的对偶性体现

这个理解来自于斯坦福的课程——凸优化：

“我们注意到标准形式线性规划和不等式形式线性规划以及它们的对偶问题之间的有趣的对称性：标准形式线性规划的对偶问题是只含有不等式约束的线性规划问题，反之亦然。”
为了完整性，下面列出以上提到的两个线性规划问题。
标准形式线性规划：

$$\begin{array}\\ &\min &c^Tx\\ &s.t. &Ax=b\\ & &x\ge 0 \end{array}$$
不等式形式线性规划：
$$\begin{array}\\ &\max &-b^T\nu\\ &s.t. &A^T\nu+c\ge 0 \end{array}$$

该理解说明了对偶问题真的具有对偶性，但是并没有说明对偶问题具有对偶性的原因。接下来将说明这一点。

对偶问题具有对偶性的原因

这个理解同样来自于斯坦福的课程——机器学习：

一句话总结：调换对偶问题中对拉格朗日函数取最大化、最小化的顺序即可得到与原问题等价的优化问题。即，对偶问题是对拉格朗日函数先取最小化，再取最大化；而原问题则是对拉格朗日函数先取最大化，再取最小化。

为了对比两优化问题之间的对偶性，我先列出对偶问题的形式：

$$g_d(\lambda,\nu)=\underset{x}\min L(x,\lambda,\nu)\\ d^*=\underset{\lambda\ge 0,\nu}\max g_d(\lambda,\nu)$$ 其中下标$d$表示对偶问题。考虑对换取最小化和最大化的顺序：
$$g_p(x)=\underset{\lambda\ge 0,\nu}\max L(x,\lambda,\nu)\\ p^*=\underset{x}\min g_p(x)$$ 其中下标$p$表示原问题。

定理：上式中$p^*$就是原问题的最优解。
证明：当$x$不满足约束条件时：

1. $f_i(x)>0\Rightarrow g_p(x)=\infty$
   只要对应的$\lambda_i$取无穷大即可。
   • $h_i(x)\ne 0\Rightarrow g_p(x)=\infty$
     只要对应的$\nu_i$取无穷大或无穷小即可。

   • 当$x$满足约束条件时：
     $h_i(x)=0$，所以$\sum\nu_ih_i(x)=0$；$f_i(x)\le0$，所以为了使$g_p(x)$最大化，则必须有$\sum\lambda_if_i(x)=0$，因此$g_p(x)=f_0(x)$。总结得：
     

     $$g_p(x)=\begin{cases} \infty & x不满足约束条件\\ f_0(x) & else \end{cases}$$ 因此$p^*$为原问题最优解。以上，证毕。