凸优化学习-（二十八）有约束优化算法——拉格朗日法

凸优化学习

拉格朗日法用得不多，但需要深入理解，方便学习另一种使用很广的算法。

学习笔记

一、拉格朗日法（$\text{lagrangian method}$）

前面我们讲到，所有的方法都是在解一个非线性的$\text{KKT}$条件，一般问题形如：
$$\begin{array}{rlrl}\min & & f(x)& \\ \text{s.t.}& & \text{A}x-b& =0\end{array}$$$\text{KKT}$条件为：
$$\{\begin{array}{l}\text{A}{x}^{\ast }-b=0\\ \nabla f(x^{\ast })+{\text{A}}^T\sum _{i=1}^p{v}_i^{\ast }=\nabla f(x^{\ast })+{\text{A}}^T{v}^{\ast }=0\end{array}$$
前面说过，解这么个非线性方程组实在是太难了，牛顿法用二阶泰勒展开构造了一个等价问题，那拉格朗日法其实也是一样的，我们用迭代的方式把$x^{\ast },v^{\ast }$即原问题和对偶问题的最优解解出来：
$$\begin{array}{rl}{x}^{k+1}& =x^k-{\alpha }^k(\nabla f(x^k)+{\text{A}}^T{v}^k)\\ v^{k+1}& =v^k+{\alpha }^k(\text{A}{x}^k-b)\end{array}$$
其中，$\alpha$一般为一个递增序列。

这什么意思？你可以看看当$x^k,v^k$不更新时，即$x^{k+1}=x^k,v^{k+1}=v^k$在什么条件下成立？不就是$\text{KKT}$条件吗？这样我们就得到了当$\text{KKT}$条件成立时的$x^{\ast },v^{\ast }$。

二、拉格朗日法的推导

对于问题：
$$\begin{array}{rlrl}\min & & f(x)& \\ \text{s.t.}& & \text{A}x-b& =0\end{array}$$
其拉格朗日函数为：
$$l(x,v)=f(x)+v^T(\text{A}x-b)$$
在之前我们讲鞍点的时候提到过：
$$\begin{gathered} d^{\ast }=g(v^{\ast })=\underset{v}{\sup }\underset{x\in D}{\inf }l(x,v) \\ {p}^{\ast }=f(x^{\ast })=\underset{x\in D}{\inf }\underset{v}{\sup }l(x,v) \end{gathered}$$
分析一下上面两个式子，不难得到：
$$\begin{gathered} v^{\ast }=\arg \underset{v}{\sup }l(x^{\ast },v) \\ {x}^{\ast }=\arg \underset{x\in D}{\inf }l(x,v^{\ast }) \end{gathered}$$
这是一个很好的性质，这说明了当$x^{\ast },v^{\ast }$我们知道一个就可以解出来另外一个，但是一开始我们哪个都不知道啊，这不是死锁了么。。。
其实一开始得不到最优解是很正常的，我们可以分步求解，最妙的是这里有两条性质，我们可以稍作改动把它改成迭代的（有种左脚右脚轮着踩飞上天的感觉）。
首先我们分析一下，要求$x^{\ast }$，怎么求？一步到位又不行，那就梯度下降法，拉格朗日函数对$x$的一阶偏导为：
$$\nabla f(x)+{\text{A}}^T{v}^{\ast }$$
这样我们就求出了方向，那么可以得到：
$$x^{k+1}=x^k-{\alpha }^k(\nabla f(x^k)+{\text{A}}^T{v}^{\ast })$$
但是这里有个问题，$v^{\ast }$我们不知道啊！那么巧妙的就来了，我们解$v^{\ast }$也是分步迭代求的，同理可得：
$$v^{k+1}=v^k+{\alpha }^k(\text{A}{x}^{\ast }-b)$$
这么一看$x^{\ast }$不是也不知道吗？这里就是拉格朗日法的核心思想了，即将$x^{\ast },v^{\ast }$换成$x^k,v^k$：
$$\begin{array}{rl}{x}^{k+1}& =x^k-{\alpha }^k(\nabla f(x^k)+{\text{A}}^T{v}^k)\\ v^{k+1}& =v^k+{\alpha }^k(\text{A}{x}^k-b)\end{array}$$
意思就是由于我们并不能一下解出$x^{\ast },v^{\ast }$，那么我们就采用迭代的方法（梯度下降法），在每一步的时候我们都要得到一个$x^{k+1},v^{k+1}$，为了得到$x^{k+1},v^{k+1}$，我们用$x^k,v^k$替换$x^{\ast },v^{\ast }$，这样当然是不准确的，是有损失的。但是随着迭代的进行，$x^k,v^k$终将逼近$x^{\ast },v^{\ast }$，那么我们得到的$x^{k+1},v^{k+1}$也将逼近$x^{\ast },v^{\ast }$。

拉格朗日法的本质是用梯度下降法解鞍点。

个人思考

其实算法后的思想才是值得深究的，很多问题我们一开始解不出来，我们就可以求等价问题或者迭代去求，这些都是很有价值的想法。

纸质笔记