《统计学习方法》附录C拉格朗日对偶性学习笔记

最优化问题有三种形式：（1）无约束优化问题；（2）有等式约束的优化问题；（3）有不等式约束的优化问题。这部分是解决第三种最优化问题，即有不等式约束的优化问题。

一、原始问题：极小极大问题

假设$f(x),c_i(x),h_j(x)$是定义在$\mathbf{R}^n$上的连续可微函数，称如下的最优化问题为原始问题：

$$\begin{align*} &\min_{x\in\mathbf{R}^n}\quad f(x)\\ & \begin{array}{r@{\quad}r@{}l@{\quad}l} s.t.&c_i(x)&\leq 0, &i=1,2,3\ldots,k\\ &h_j(x)&=0, &i=1,2,3\ldots,l \\ \end{array} \end{align*}\tag{1}$$
$\min\limits_{x\in\mathbf{R}^n}\quad f(x)$ 的意义是在满足所有约束条件的 $x$中找出使$f(x)$最小的 $x$，$f(x):\mathbf{R}^n\to\mathbf{R}$ 称为目标函数。区分 $\min\limits_{x\in\mathbf{R}^n}\quad f(x)$ 最优值和解，最优值是 $f(x)$可取的最小值，解是当 $f(x)$取最小值时 $x$的值。
引入拉格朗日函数，目的是将有约束的问题转化成无约束问题：
$$L(x,\alpha,\beta)=f(x)+\sum\limits_{i=1}^k{\alpha_ic_i(x)}+\sum\limits_{j=1}^l{\beta_jh_j(x)}$$
上式中， $x=(x^{(1)},x^{(2)},\cdots,x^{(n)})^T\in\mathbf{R}^n$， $\alpha_i,\beta_i$是拉格朗日乘子。 $\alpha_i\geq 0$，这是因为构造 $L(x,\alpha,\beta)$的目的是使 $L(x,\alpha,\beta)\leq f(x)$，而 $c_i(x)\leq 0,h_j(x)=0$，故必须限制 $\alpha_i\geq 0$。
考虑 $x$的函数：
$$\theta_p(x)=\max\limits_{\alpha,\beta:\alpha_i\geq 0}L(x,\alpha,\beta)$$
假设给定某个 $x$，如果$x$违反原始问题 $(1)$的约束条件，即存在某个 $i$使得$c_i(x)>0$或者存在某个 $i$使得$h_j(x)\ne0$，那么就有：
$$\theta_p(x)=\max\limits_{\alpha,\beta:\alpha_i\geq 0}{[\alpha_ic_i(x)}+\sum\limits_{j=1}^l{\beta_jh_j(x)]}=+\infty$$
因为若某个 $i$使约束$c_i(x)>0$，则可令 $\alpha_i\to+\infty$，若某个 $j$使$h_j(x)\ne 0$，则可令 $\beta_j$使得 $\beta_jh_j(x)\to +\infty$，而将其余各 $\alpha_i,\beta_j$均取为0。相反地，如果 $x$满足原始问题的两个约束条件，则有$\alpha_ic_i(x)\leq 0$，最大时为0； $\beta_jh_j(x)=0$，则可得 $\theta_p(x)=\max\limits_{\alpha,\beta}{L(x,\alpha,\beta)}$在 $x$满足原始问题$(1)$的两个约束条件时就是 $f(x)$。
综上分析，可以将原始最优化问题 $(1)$表示为：
$$\min\limits_x{\theta_p(x)}=\min\limits_x\max\limits_{\alpha,\beta:\alpha_i\geq 0}L(x,\alpha,\beta)\tag{2}$$
$\min\limits_x\max\limits_{\alpha,\beta:\alpha_i\geq 0}L(x,\alpha,\beta)$称为广义拉格朗日函数的极小极大问题，它和原始优化问题 $(1)$是完全等价的，有相同的解 $x^*$。

二、对偶问题：极大极小问题

原始问题是：$\min\limits_x\max\limits_{\alpha,\beta:\alpha_i\geq 0}L(x,\alpha,\beta)$，定义对偶问题是：$\max\limits_{\alpha,\beta:\alpha_i\geq 0}\min\limits_xL(x,\alpha,\beta)$，该对偶问题称为广义拉格朗日函数的极大极小问题，可以将广义拉格朗日函数的极大极小问题表示为约束最优化问题：

$$\begin{align*} &\max\limits_{\alpha,\beta}\min\limits_x\quad L(x,\alpha,\beta)\\ & \begin{array}{r@{\quad}r@{}l@{\quad}l} s.t.&\alpha_i&\geq 0, &i=1,2,3\ldots,k\\ \end{array} \end{align*}\tag{3}$$

三、KKT条件

定理1：若原始问题和对偶问题都有最优值，则对偶问题最优值$d^*$小于等于原始问题最优值$p^*$，即：

$$d^*=\max\limits_{\alpha,\beta:\alpha_i\geq 0}\min\limits_x L(x,\alpha,\beta)\leq\min\limits_x\max\limits_{\alpha,\beta:\alpha_i\geq 0}L(x,\alpha,\beta)=p^*$$

证明：

$$\min\limits_xL(x,\alpha,\beta)\leq L(x,\alpha,\beta)\leq\max\limits_{\alpha,\beta:\alpha_i\geq 0}L(x,\alpha,\beta)$$
则
$$\max\limits_{\alpha,\beta:\alpha_i\geq 0}\min\limits_x L(x,\alpha,\beta)\leq L(x,\alpha,\beta)\leq\min\limits_x\max\limits_{\alpha,\beta:\alpha_i\geq 0}L(x,\alpha,\beta)$$

推论1：设$x^*$和$\alpha^*,\beta^*$分别是原始问题$(1)$和对偶问题$(3)$的可行解，并且$d^*=p^*$，则$x^*$和$\alpha^*,\beta^*$分别是原始问题$(1)$和对偶问题$(3)$的最优解。
以上推论中的$p^*$是原始问题的最优值，$d^*$是对偶问题的最优值。这里可行解的意思是$x^*$和$\alpha^*,\beta^*$分别取了值，使得原始问题的目标函数值为$p^*$，对偶问题的目标函数值为$d^*$。如果此时$p^*=d^*$，则可行解$x^*$和$\alpha^*,\beta^*$就是原始问题$(1)$和对偶问题$(3)$的最优解。这里的$p^*=d^*$是一个假设。
定理2：考虑原始问题$(1)$和对偶问题$(3)$。假设函数$f(x)$和$c_i(x)$是凸函数，$h_j(x)$是仿射函数；并且假设不等式约束$c_i(x)$是严格可行的，即存在$x$，对所有$i$有c_i(x)<0，则存在$x^*$和$\alpha^*,\beta^*$，使$x^*$是原始问题的解，$\alpha^*,\beta^*$是对偶问题的解，并且有$p^*=d^*=L(x^*,\alpha^*,\beta^*)$.
定理2是用来判断原始问题和对偶问题是不是强对偶问题。（对偶问题的最优值是等于原问题的最优值）。这里的$p^*=d^*$是结论。
定理3：$x^*$和$\alpha^*,\beta^*$分别是原始问题和对偶问题的解的充分必要条件是，$x^*$和$\alpha^*,\beta^*$满足下面的KKT条件：

$$\begin{align*} &\nabla_xL(x^*,\alpha^*,\beta^*)=0\tag{3.1}\\ &\nabla_{\alpha}L(x^*,\alpha^*,\beta^*)=0\\ &\nabla_{\beta}L(x^*,\alpha^*,\beta^*)=0\\ &\alpha_i^*c_i(x^*)=0,i=1,2,\cdots,k\tag{3.2}\\ &c_i(x^*)\leq 0,i=1,2,\cdots,k\tag{3.3}\\ &\alpha_i^*\geq 0,i=1,2,\cdots,k\tag{3.4}\\ &h_j(x^*)= 0,j=1,2,\cdots,l\tag{3.5}\\ \end{align*}$$
上式条件中 $(3.1),(3.2)$两个条件是最重要的， $(3.3)-(3.5)$都是将原始问题表示成拉格朗日函数时的条件。式 $(3.2)$称为对偶互补条件，根据此条件，当 $\alpha_i^*>0$则 $c_i(x^*)=0$。
定理3说明了满足强对偶的必要条件是KKT条件，即满足强对偶条件的优化问题的最优值都一定满足KKT条件，而在满足KKT条件下，原始问题的求解可以转换成对偶问题来求解。应用时先判断原始问题和对偶问题是不是满足强对偶，满足的情况下就一定满足定理3的三个条件。
KKT条件是关于强对偶的原始问题和对偶问题的一个充分必要条件，根据它们的解 $w^*,\alpha^*,\beta^*$可以推出三个结论 $(3.1),(3.2),(3.4)$，或者满足三个结论的就是它们的解 $w^*,\alpha^*,\beta^*$。

参考：
http://blog.youkuaiyun.com/xianlingmao/article/details/7919597 里面涉及到KKT条件的推导，但是没有看明白/(ㄒoㄒ)/~~。
李航 《统计学习方法》