拉格朗日对偶性 | 《统计学习方法》学习笔记（二十二）

在约束最优化问题中，常常利用拉格朗日对偶性（Lagrange duality）将原始问题转换为对偶问题，通过解对偶问题而得到原始问题的解。该方法应用在许多统计学习方法中，例如，最大熵模型与支持向量机。这里简要叙述拉格朗日对偶性的主要概念和结果。

1. 原始问题

假设$f(x),c_j(x),h_j(x)$是定义在$R^n$上的连续可微函数。考虑约束最优化问题
$$mi{n}_{x\in R^n}f(x)\text{\hspace{1em}(C.1)}$$

$$s.t.c_i(x)\le 0,i=1,2,\cdots ,k\text{\hspace{1em}(C.2)}$$

$$h_j(x)=0,j=1,2,\cdots ,l\text{\hspace{1em}(C.3)}$$

首先，引进广义拉格朗日函数（generalized Lagrange function）
$$L(x,\alpha ,\beta )=f(x)+\sum _{l=1}^k{\alpha }_i{c}_i(x)+\sum _{j=1}^l{\beta }_j{h}_j(x)\text{\hspace{1em}(C.4)}$$
这里，$x=(x^{(1)},x^{(2)},\cdots ,x^n{)}^T\in {\mathbf{R}}^n$，${\alpha }_i,{\beta }_j$是拉格朗日乘子，${\alpha }_i\ge 0$。考虑x的函数：
$${\theta }_p(x)=ma{x}_{\alpha ,\beta :{\alpha }_i\ge 0}L(x,\alpha ,\beta )\text{\hspace{1em}(C.5)}$$
这里，下标P表示原始问题。

假设给定某个x。如果x违反原始问题的约束条件，即存在某个i使得$c_i(w)>0$或者某个存在某个j使得$h_j(w)\ne 0$，那么就有
$${\theta }_p=ma{x}_{\alpha ,\beta :{\alpha }_i\ge 0}[f(x)+\sum _{i=1}^k{a}_i{c}_i(x)+\sum _{j=1}^l{\beta }_j{h}_j(x)]=+\infty \text{\hspace{1em}(C.6)}$$
因为若某个i使约束$c_i(x)>0$，则可令$a_i\to +\infty$，若某个j使$h_j(x)\ne 0$，则可令${\beta }_j$使${\beta }_j{h}_j(x)\to +\infty$，而将其余各${\alpha }_i,{\beta }_j$均取为0.

相反地，如果x满足约束条件式（C.2）和式（C.3），则由式（C.5）和式（C.4）可知，${\theta }_p(x)=f(x)$。因此，
$${\theta }_p(x)=\{\begin{array}{l}f(x),x满足原始问题约束\\ +\infty ,其他\end{array}\text{\hspace{1em}(C.7)}$$
所以如果考虑极小化问题
$$mi{n}_x{\theta }_p(x)=mi{n}_{x}ma{x}_{\alpha ,\beta ;{\alpha }_i\ge 0}L(x,\alpha ,\beta )\text{\hspace{1em}(C.8)}$$
它是与原始最优化问题（C.1）~ （C.3）等价的，即它们有相同的解。问题$mi{n}_{x}ma{x}_{\alpha ,\beta :{\alpha }_i\ge 0}L(x,\alpha ,\beta )$称为广义拉格朗日函数的极小极大问题。这样一来，就把原始最优化问题表示为广义拉格朗日函数的极小极大问题。为了方便，定义原始问题的最优值
$$p^{\ast }=mi{n}_x{\theta }_p(x)\text{\hspace{1em}(C.9)}$$
称为原始问题的值。

2. 对偶问题

定义
$${\theta }_D(\alpha ,\beta )=mi{n}_{x}L(x,\alpha ,\beta )\text{\hspace{1em}(C.10)}$$
再考虑极大化${\theta }_D(\alpha ,\beta )=mi{n}_{x}L(x,\alpha ,\beta )$，即
$$ma{x}_{\alpha ,\beta :{\alpha }_l\ge 0}{\theta }_D(\alpha ,\beta )=ma{x}_{\alpha ,\beta :{\alpha }_l\ge 0}mi{n}_{x}L(x,\alpha ,\beta )\text{\hspace{1em}(C.11)}$$
问题$ma{x}_{\alpha ,\beta :{\alpha }_l\ge 0}mi{n}_{x}L(x,\alpha ,\beta )$称为广义拉格朗日函数的极大极小问题。

可以将广义拉格朗日函数的极大极小问题表示为约束最优化问题：
$$ma{x}_{\alpha ,\beta }{\theta }_D(\alpha ,\beta )=ma{x}_{\alpha ,\beta }mi{n}_{x}L(x,\alpha ,\beta )\text{\hspace{1em}(C.12)}$$

$$s.t.a_i\ge 0,i=1,2,\cdots ,k\text{\hspace{1em}(C.13)}$$

称为原始问题的对偶问题。定义对偶问题的最优值
$$d^{\ast }=ma{x}_{\alpha ,\beta :{\alpha }_l\ge 0}{\theta }_D(\alpha ,\beta )\text{\hspace{1em}(C.14)}$$
称为对偶问题的值。

3. 原始问题和对偶问题的关系

下面讨论原始问题和对偶问题的关系。

定理C.1 若原始问题和对偶问题都有最优值，则
$$d^{\ast }=ma{x}_{\alpha ,\beta ;{\alpha }_i\ge 0}mi{n}_{x}L(x,\alpha ,\beta )\le mi{n}_{x}ma{x}_{\alpha ,\beta ;{\alpha }_i\ge 0}L(x,\alpha ,\beta )=p^{\ast }\text{\hspace{1em}(C.15)}$$
证明：由式（C.12）和式（C.5），对任意的$\alpha ,\beta$和$x$，有
$$thet{a}_D(\alpha ,\beta )=mi{n}_{x}L(x,\alpha ,\beta )\le L(x,\alpha ,\beta )\le ma{x}_{\alpha ,\beta ,a_j\ge 0}L(x,\alpha ,\beta )={\theta }_p(x)$$
即
$${\theta }_D(\alpha ,\beta )\le {\theta }_p(x)$$
由于原始问题和对偶问题均由最优值，所以，
$$ma{x}_{\alpha ,\beta ;{\alpha }_i\ge 0}{\theta }_D(\alpha ,\beta )\le mi{n}_x{\theta }_P(x)$$
即
$$d^{\ast }=ma{x}_{\alpha ,\beta ;{\alpha }_i\ge 0}mi{n}_{x}L(x,\alpha ,\beta )\le mi{n}_{x}ma{x}_{\alpha ,\beta ;{\alpha }_i\ge 0}L(x,\alpha ,\beta )=p^{\ast }$$
推论C.1：设$x^{\ast }$和${\alpha }^{\ast },{\beta }^{\ast }$分别是原始问题（C.1）_{（C.3）和对偶问题（C.12）}（C.13）的可行解，并且$d^{\ast }=p^{\ast }$，则$x^{\ast }$和${\alpha }^{\ast },{\beta }^{\ast }$分别是原始问题和对偶问题的最优解。

在某些条件下，原始问题和对偶问题的最优值相等，$d^{\ast }=p^{\ast }$。这时可以用解对偶问题代解原始问题。下面以定理的形式叙述有关的重要结论而不予证明。

定理C.2：考虑原始问题（C.1）_{（C.3）和对偶问题（C.12）}（C.13）。假设函数$f(x)$和$c_i(x)$是凸函数，$h_j(x)$是仿射函数；并且假设不等式约束$c_j(x)$是严格可行的，即存在x，对所有i有$c_i(x)<0$，则存在$x^{\ast },{\alpha }^{\ast }，{\beta }^{\ast }$，使$x^{\ast }$是原始问题的解，${\alpha }^{\ast },{\beta }^{\ast }$是对偶问题的解，并且
$$p^{\ast }=d^{\ast }=L(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast })$$
定理C.3：对原始问题（C.1）_{（C.3）和对偶问题（C.12）}（C.13），假设函数$f(x)$和$c_i(x)$是凸函数，$h_j(x)$是仿射函数；并且假设不等式约束$c_j(x)$是严格可行的，则$x^{\ast }$和${\alpha }^{\ast },{\beta }^{\ast }$分别是原始问题和对偶问题的解的充分必要条件是$x^{\ast },{\alpha }^{\ast },{\beta }^{\ast }$满足下面的Karush-Kuhn-Tucker（KKT）条件：
$$\begin{gathered} {\nabla }_{x}L(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast })=0 \\ {\nabla }_{\alpha }L(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast })=0 \\ {\nabla }_{\beta }L(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast })=0 \\ {a}_i^{\ast }{c}_i(x^{\ast })=0，i=1,2,\cdots ,k(C.16) \\ {c}_i(x^{\ast })\le 0,i=1,2,\cdots ,k \\ {a}_i^{\ast }\ge 0,i=1,2,\cdots ,k \\ {h}_j(x^{\ast })=0,j=1,2,\cdots ,l \end{gathered}$$
特别指出，式（C.16）称为KKT的对偶互补条件。由此条件可知：若$a_i^{\ast }>0$，则$c_i(x^{\ast })=0$.