最优化理论4.2带约束最优化

本课程来自 深度之眼，部分截图来自课程视频。
【第四章 最优化理论】4.2带约束最优化
在线LaTeX公式编辑器

任务详解：

这节课主要介绍了带约束优化，优化的对偶理论等知识点。
掌握目标：
1、掌握等式约束的最优化问题，拉格朗日乘子法，从几何上理解
2、掌握不等式约束的最优化问题，kkt松弛条件，从几何上理解
3、优化的拉格朗日对偶理论，原始问题，原始问题的等价原问题，对偶问题
4、弱对偶理论，强对偶理论，KKT条件
带约束优化一般分等式约束和不等式约束

等式约束：拉格朗日乘子

经典拉格朗日乘子法是下面的优化问题（注：x是一个向量）：
$$mi{n}_{x}f(x)$$
等式约束：
$$s.t.g(x)=0$$
以二维函数$f(x,y)$为例，从XOY平面上看就是一圈圈等高线，越往中心，越接近最小值，但是又有等式约束$g(x)=0$（下图的约束曲线是$g(x,y)=c$,当然也可以写成$g(x,y)-c=0$）

也就是说这个时候的极值点应该在曲线$g(x,y)$上，又要尽量接近等高线中心，所以等高线和曲线应该是相切的，就是切线方向是共线的，也就是法线方向也是共线的，（法线和切线是垂直的）。
-------------------------------------------------割你没商量1-------------------------------------------
那么等高线的法线怎么求？实际上就是某点的梯度。证明如下：
假如二维函数是$z=f(x,y)$，那么某个等高线也就是z为某个常数c，可以写为：
$$f(x,y)=c$$
对其求偏导，并使其等于0，可以得到切线$\frac{dy}{dx}$的形式：
$$f_{x}dx+f_{y}dy=0\to \frac{dy}{dx}=-\frac{f_x}{f_y}$$
由于梯度可以用各个偏导排列组成的向量来表示：$[f_x,f_y]$，其方向为：$\frac{f_y}{f_x}$
用切线乘以梯度方向：
$$\frac{dy}{dx}=-\frac{f_x}{f_y}\frac{f_y}{f_x}=-1$$
也就意味着梯度和切线是垂直关系。也就是说梯度方向和法线方向平行。
所以就有：
$$▽f(x,y)=\lambda ▽g(x,y)$$
二维函数与约束函数的梯度要平行。（平行关系所以$\lambda$是正是负都可以）
以上是二维的情况，如果推广到n维，就可以写成下面：
-------------------------------------------------割你没商量1-------------------------------------------
$$\{\begin{array}{ll}& ▽f(x)=\lambda ▽g(x)\\ & g(x)=0\end{array}\text{\hspace{1em}(1)}$$
其中：
$$x=(x_1,x_2,...,x_n),x\in {\Re }^n$$
把第一式展开可以得到n个方程，可以写成：
$$(f_{x_1},f_{x_2},...,f_{x_n})=\lambda (g_{x_1},g_{x_2},...,g_{x_n})$$
即：$f_{x_1}=\lambda g_{x_1},f_{x_2}=\lambda g_{x_2}...$

这两个方程(1)刚好就是拉格朗日函数：
$$L(x,\lambda )=f(x)+\lambda g(x)$$

不等式约束

这里和等式约束形式差不多，只不过约束由等式变成了不等式，那么在考虑法线方向上就不能像等式那样那么随意了，等式只要法线平行即可，所以$\lambda$可以正负都无所谓。
如果约束条件是：$s.t.g(x)\le 0$
那么$\lambda$应该是负数，这样沿梯度变化后才能满足约束条件。

优化的对偶理论主(要用在SVM)

1.原始问题

假设$f(x),c_i(x),h_j(x)$是定义在$R^n$上的连续可微函数。考虑约束最优化问题
$$\underset{x\in R^n}{\min }f(x)$$
$$\begin{gathered} s.t.c_i(x)\le 0,i=1,2,...,k \\ {h}_j(x)=0,j=1,2,...,l \end{gathered}$$
称此约束最优化问题为原始最优化问题或原始问题.
首先，引进广义拉格朗日函数（generalized Lagrange function），这个和之前的那个拉格朗日没有什么关系。
$$L(x,\alpha ,\beta )=f(x)+\sum _{i=1}^k{\alpha }_i{c}_i(x)+\sum _{j=1}^l{\beta }_j{h}_j(x)\text{\hspace{1em}(2)}$$
这里，$x=(x^{(1)},x^{(2)},...,x^{(n)}{)}^T\in R^n$，${\alpha }_i,{\beta }_j$是拉格朗日乘子，${\alpha }_i\ge 0$.考虑x的函数：
$${\theta }_P(x)=\underset{\alpha ,\beta ;{\alpha }_i\ge 0}{\max }L(x,\alpha ,\beta )$$
根据公式（2）以及约束可知
情况一：
x满足原始问题约束，$h_j(x)=0$，所以后面那项就没有了：
$$L(x,\alpha ,\beta )=f(x)+\sum _{i=1}^k{\alpha }_i{c}_i(x)\text{\hspace{1em}(3)}$$
公式（3）中的后面那项${\alpha }_i\ge 0，c_i(x)\le 0\to {\alpha }_i{c}_i(x)\le 0$
因此函数$L(x,\alpha ,\beta )$的最大值就是当${\alpha }_i=0$的时候
$$L(x,\alpha ,\beta )\le f(x)\to {\theta }_P(x)=\underset{\alpha ,\beta ;{\alpha }_i\ge 0}{\max }L(x,\alpha ,\beta )=f(x)$$
情况二：
x不满足原始问题约束，又分两种情况讨论：
2.1
$c_i(x)>0，h_j(x)=0$，同样后面一项为0：
$$L(x,\alpha ,\beta )=f(x)+\sum _{i=1}^k{\alpha }_i{c}_i(x)\text{\hspace{1em}(4)}$$
公式（4）中的后面那项${\alpha }_i\ge 0，c_i(x)>0\to {\alpha }_i{c}_i(x)>=0$
此时公式（4）的最大值就是+∞
2.2
$c_i(x)\le 0，h_j(x)\ne 0$，取$c_i(x)=0$
$$L(x,\alpha ,\beta )=f(x)+\sum _{j=1}^l{\beta }_j{h}_j(x)\text{\hspace{1em}(5)}$$
公式（5）的后面那项的最大值也是+∞
综合情况一和情况二就可以把${\theta }_P(x)$写为：
$${\theta }_P(x)=\{\begin{array}{ll}& f(x),x满足原始问题约束\\ & +\infty ,其它\end{array}\text{\hspace{1em}(6)}$$
现在考虑${\theta }_P(x)$极小值，由于${\theta }_P(x)$是分段函数，下面那一段+∞是不会有最小值的，所以整个${\theta }_P(x)$的最小值肯定是在上面那段，写成：
$$\underset{x}{\min }{\theta }_P(x)=\underset{x}{\min }\underset{\alpha ,\beta ;{\alpha }_i\ge 0}{\max }L(x,\alpha ,\beta )\text{\hspace{1em}(7)}$$
可以看到，如果要满足公式（7），那么x就是既要满足情况一中的原始问题约束，又要使得f(x)最小，这个就是和原始问题等价啊，也就是把原始问题转换成了公式（7）的形式。这个形式没有约束的存在了。

2.对偶问题

之前的一般问题是先极小值再极大值，对偶问题是先极小值再极大值。下面直接给定义。
定义
$${\theta }_D(\alpha ,\beta )=\underset{x}{\min }L(x,\alpha ,\beta )$$
再考虑极大化${\theta }_D(\alpha ,\beta )=\underset{x}{\min }L(x,\alpha ,\beta )$，即：
$$\underset{\alpha ,\beta ;{\alpha }_i\ge 0}{\max }{\theta }_D(\alpha ,\beta )=\underset{\alpha ,\beta ;{\alpha }_i\ge 0}{\max }\underset{x}{\min }L(x,\alpha ,\beta )$$
————————————————————————————————————
弱对偶定理C.1：若原始问题和对偶问题都有最优值，则
$$d^{\ast }=\underset{\alpha ,\beta ;{\alpha }_i\ge 0}{\max }\underset{x}{\min }L(x,\alpha ,\beta )\le \underset{x}{\min }\underset{\alpha ,\beta ;{\alpha }_i\ge 0}{\max }L(x,\alpha ,\beta )=p^{\ast }$$
证明：对任意的$\alpha$，$\beta$和$x$，有
$${\theta }_D(\alpha ,\beta )=\underset{x}{\min }L(x,\alpha ,\beta )\le L(x,\alpha ,\beta )\le \underset{\alpha ,\beta ;{\alpha }_i\ge 0}{\max }L(x,\alpha ,\beta )={\theta }_P(x)$$
即：
$${\theta }_D(\alpha ,\beta )\le {\theta }_P(x)$$
由于原始问题和对偶问题均有最优值，所以，
$$\underset{\alpha ,\beta ;{\alpha }_i\ge 0}{\max }{\theta }_D(\alpha ,\beta )\le \underset{x}{\min }{\theta }_P(x)$$
以上这种形式是弱对偶形式，如果能把不等号变成等号，那么就变成强对偶形式。

强对偶定理C.2考虑原始问题和对偶问题。假设函数$f(x)$和$c_i(x)$是凸函数，$h_j(x)$是仿射函数()；并且假设不等式约束$c_i(x)$是严格可行的，即存在$x$，对所有$i$有$c_i(x)<0$，则存在$x^{\ast },{\alpha }^{\ast },{\beta }^{\ast }$使$x^{\ast }$是原始问题的解，${\alpha }^{\ast },{\beta }^{\ast }$是对偶问题的解，并且
$$p^{\ast }=d^{\ast }=L(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast })$$

KTT定理C.3对原始问题和对偶问题，假设函数$f(x)$和$c_i(x)$是凸函数，$h_j(x)$是仿射函数，并且不等式约束$c_i(x)$是严格可行的，则$x^{\ast },{\alpha }^{\ast },{\beta }^{\ast }$分别是原始问题和对偶问题的解的充分必要条件是$x^{\ast },{\alpha }^{\ast },{\beta }^{\ast }$满足下面的Karush-Kuhn-Tucker（KKT）条件：
$$\begin{gathered} {▽}_{x}L(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast })=0 \\ {▽}_{\alpha }L(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast })=0 \\ {▽}_{\beta }L(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast })=0 \end{gathered}$$

$$\begin{gathered} {\alpha }_i^{\ast }{c}_i(x^{\ast })=0,i=1,2,...,k \\ {c}_i(x^{\ast })\le 0,i=1,2,...,k \\ {\alpha }_i^{\ast }\ge 0,i=1,2,...,k \\ {h}_j(x^{\ast })=0,j=1,2,...,l \end{gathered}$$