凸优化学习-（二十九）有约束优化算法——增广拉格朗日法、交替方向乘子法（ADMM）

凸优化学习

我们前面说过，拉格朗日法在实际中应用不大。为什么呢？因为$\alpha$的取值很难取，这就导致拉格朗日法鲁棒性很低，收敛很慢，解很不稳定。于是就有了今天的增广拉格朗日法和ADMM。

学习笔记

一、增广拉格朗日法（Augmented Lagrange Method）

1、定义

一句话总结：在拉格朗日法的基础上，将拉格朗日函数替换为增广拉格朗日函数。

有问题形如：
$$\begin{array}{rlrl}\min & & f(x)& \\ \text{s.t.}& & \text{A}x-b& =0\end{array}$$
定义其增广拉格朗日函数为：
$$l_c(x,v)=f(x)+v^T(\text{A}x-b)+\frac{c}{2}\Vert \text{A}x-b{\Vert }_2^2$$
增广拉格朗日法：
$$\begin{array}{rl}{x}^{k+1}& =\arg \underset{x}{\min }{l}_c(x,v^k)\\ v^{k+1}& =v^k+c(\text{A}{x}^{k+1}-b)\end{array}$$

2、证明增广拉格朗日法的解是原问题的解

有问题形如：
$$\begin{array}{rlrl}\min & & f(x)& \\ ({\text{P}}_1)\text{s.t.}& & \text{A}x-b& =0\end{array}$$

增广拉格朗日函数对应的问题：
$$\begin{array}{rlrl}\min & & f(x)+\frac{c}{2}\Vert \text{A}x-b{\Vert }_2^2& \\ ({\text{P}}_2)\text{s.t.}& & \text{A}x-b& =0\end{array}$$
即证：
$$\{\begin{array}{l}{x}_1^{\ast }=x_2^{\ast }\\ v_1^{\ast }=v_2^{\ast }\end{array}$$
对${\text{P}}_1$，其$\text{KKT}$条件中的稳定性有：
∇ x 1 l ( x 1 ∗ , v 1 ∗ ) = 0 ⇒ ∇ x 1 { f ( x 1 ∗ ) + ( v 1 ∗ ) T ( A x 1 ∗ − b ) } = 0 \begin{aligned} &&\nabla_{x_1}l(x_1^*,v_1^*)&=0\\ \Rightarrow&&\nabla_{x_1}\lbrace f(x_1^*)+(v_1^*)^T(\textbf A x^*_1-b)\rbrace&=0\\ \end{aligned} ⇒​​∇x1​​l(x1∗​,v1∗​)∇x1​​{f(x1∗​)+(v1∗​)T(Ax1∗​−b)}​=0=0​
对${\text{P}}_2$，其$\text{KKT}$条件中的稳定性有：
∇ x 2 l ( x 2 ∗ , v 2 ∗ ) = 0 ⇒ ∇ x 2 { f ( x 2 ∗ ) + ( v 2 ∗ ) T ( A x 2 ∗ − b ) } + c A T ( A x 2 ∗ − b ) = 0 \begin{aligned} &&\nabla_{x_2}l(x_2^*,v_2^*)&=0\\ \Rightarrow&&\nabla_{x_2}\lbrace f(x_2^*)+(v_2^*)^T(\textbf A x^*_2-b)\rbrace+c\textbf A^T(\textbf A x^*_2-b)&=0\\ \end{aligned} ⇒​​∇x2​​l(x2∗​,v2∗​)∇x2​​{f(x2∗​)+(v2∗​)T(Ax2∗​−b)}+cAT(Ax2∗​−b)​=0=0​
因为$(\text{A}{x}_2^{\ast }-b)=0$，比较上下两式，得：
$$\{\begin{array}{l}{x}_1^{\ast }=x_2^{\ast }\\ v_1^{\ast }=v_2^{\ast }\end{array}$$
证毕。

3、从拉格朗日法角度理解增广拉格朗日法（联系、对比）

有问题形如：
$$\begin{array}{rlrl}\min & & f(x)& \\ \text{s.t.}& & \text{A}x-b& =0\end{array}$$
拉格朗日法：
$$\begin{array}{rl}{x}^{k+1}& =x^k-{\alpha }^k(\nabla f(x^k)+{\text{A}}^T{v}^k)\\ v^{k+1}& =v^k+{\alpha }^k(\text{A}{x}^k-b)\end{array}$$
增广拉格朗日法：
$$\begin{array}{rl}{x}^{k+1}& =\arg \underset{x}{\min }{\nabla }_x{l}_c(x,v^k)\\ v^{k+1}& =v^k+c(\text{A}{x}^{k+1}-b)\end{array}$$
可以看到，增广拉格朗日法去掉了${\alpha }^k$，之后在性质分析中我们会讲到，在$c$取得不是很精确的时候，收敛性也很好。还有一个变化是将$(\text{A}{x}^k-b)$换为$(\text{A}{x}^{k+1}-b)$,这是因为这两步是分开执行的，当算$v^{k+1}$的时候，$x^{k+1}$已经算出来了，我们当然可以用更好的$x$来替换它。其中$c$一般取1，也可以取成递增序列。

拉格朗日法：我已经有了$k$时刻的$\text{P}$和$\text{D}$的优化变量，根据给定规则去优化。本质上是$\text{P}$和$\text{D}$的方法，从$\text{P}$和$\text{D}$两个角度同时优化。
增广拉格朗日法：非同步优化，只更新$v^k$，只算对偶最优解，可将$x^{k+1}$带入下式，$x^{k+1}$只是副产品。

4、增广拉格朗日法的两条性质以及其收敛性探究

1. 若$v=v^{\ast }$，则$\forall c>0,x^{\ast }=\arg \underset{x}{\min }{l}_c(x,v^{\ast })$。
2. 若$c\to +\infty$，则$\forall v,x^{\ast }=\arg \underset{x}{\min }{l}_c(x,v)$。

第一条性质表明得到$v^{\ast }$后，可以马上算出$x^{\ast }$，只要$c>0$就可以。第二条就更厉害了，如果你老是解不出$v^{\ast }$，那就将$c\to +\infty$，一样解的出$x^{\ast }$，所以这个算法的鲁棒性是很好的。

下面用一个例子来体会一下这两条性质：

例：
$$\begin{array}{rlrl}\min & & \frac{1}{2}{x}_1^2+\frac{1}{2}{x}_2^2& \\ \text{s.t.}& & x_1& =1\end{array}$$
直接用$\text{KKT}$条件得到解：
$$\{\begin{array}{l}{x}_1^{\ast }=1\\ x_2^{\ast }=0\\ v^{\ast }=-1\end{array}$$
我们探究一下两条性质，其增广拉格朗日函数为：
$$l_c(x,v)=\frac{1}{2}{x}_1^2+\frac{1}{2}{x}_2^2+v(x_1-1)+\frac{c}{2}(x_1-1{)}^2$$
性质一：当$v=v^{\ast }=1时$，有：
$$\begin{array}{rlrl}& & x^{\ast }& =\arg \underset{x}{\min }{l}_c(x,v^{\ast })\\ & & & =\arg \underset{x}{\min }\frac{1}{2}{x}_1^2+\frac{1}{2}{x}_2^2+(x_1-1)+\frac{c}{2}(x_1-1{)}^2\\ \Rightarrow & & & \{\begin{array}{l}{x}_1^{\ast }-1+c(x_1^{\ast }-1)=0\\ x_2^{\ast }=0\end{array}\end{array}$$
可以直接解出$x^{\ast }$。
性质二：当$c\to +\infty$，$v$离$v^{\ast }$还很远时：
$$\begin{array}{rlrl}& & x^{\ast }& =\arg \underset{x}{\min }{l}_c(x,v^{\ast })\\ & & & =\arg \underset{x}{\min }\frac{1}{2}{x}_1^2+\frac{1}{2}{x}_2^2+v(x_1-1)+\frac{c}{2}(x_1-1{)}^2\\ \Rightarrow & & & \{\begin{array}{l}{x}_1^{\ast }=\frac{c-v}{c+1}\\ x_2^{\ast }=0\end{array}\end{array}$$
分析一下$x_1^{\ast }=\frac{c-v}{c+1}$说明什么？即当$v\to -1时x_1\to 1,c\to +\infty 时x_1\to 1$，这就是增广拉格朗日法的两条性质，也可以看出它的鲁棒性非常好。

收敛性探究：
在这道题中，我们可以得到：
$$\begin{array}{rlrl}& & x^{k+1}& =\frac{c-v^k}{c+1}\\ & & v^{k+1}& =v^k+c({\text{x}}^{k+1}-1)\\ \Rightarrow & & v^{k+1}& =v^k+c(\frac{c-v^k}{c+1}-1)\\ \Rightarrow & & v^{k+1}& =v^k-\frac{c}{c+1}(v^k+1)\\ 将v^{\ast }=-1代入：& & v^{k+1}& =v^k-\frac{c}{c+1}(v^k-v^{\ast })\\ & & v^{k+1}-v^{\ast }& =v^k-v^{\ast }-\frac{c}{c+1}(v^k-v^{\ast })\\ & & \frac{v^{k+1}-v^{\ast }}{v^k-v^{\ast }}& =\frac{1}{c+1}\end{array}$$
是线性收敛的。

二、交替方向乘子法（ADMM）

对于这么一个优化问题：
$$\underset{x}{\min }f(x)+g(x)$$
假设它的性质是当$f(x),g(x)$分开优化很简单，但是合起来优化很难时，我们就可以将它们拆开优化，上面问题等价于：
$$\begin{array}{rlrl}\min & & f(x)+g(z)& \\ \text{s.t.}& & x& =z\end{array}$$
用增广拉格朗日法进行优化：
⇒ l c ( x , z , v ) = f ( x ) + g ( z ) + v T ( x − z ) + c 2 ∥ x − z ∥ 2 2 ⇒ { 1. { x k + 1 , z k + 1 } = arg ⁡ min ⁡ x , z f ( x ) + g ( z ) + v T ( x − z ) + c 2 ∥ x − z ∥ 2 2 2. v k + 1 = v k + c ( x k + 1 − z k + 1 ) \begin{aligned} \Rightarrow&l_c(x,z,v)=f(x)+g(z)+v^T(x-z)+\frac c 2 \|x-z\|_2^2\\ \Rightarrow&\begin{cases} 1.\lbrace x^{k+1},z^{k+1}\rbrace=\arg\min\limits_{x,z}f(x)+g(z)+v^T(x-z)+\frac c 2 \|x-z\|^2_2\\ 2.v^{k+1}=v^k+c(x^{k+1}-z^{k+1}) \end{cases} \end{aligned} ⇒⇒​lc​(x,z,v)=f(x)+g(z)+vT(x−z)+2c​∥x−z∥22​{1.{xk+1,zk+1}=argx,zmin​f(x)+g(z)+vT(x−z)+2c​∥x−z∥22​2.vk+1=vk+c(xk+1−zk+1)​​
在第一步的时候，我们固定$x,z$中的一个，使用坐标轮换法迭代优化另一个。即将$k+1$步分为$t$次，迭代中迭代，有点像二维数组的遍历，这样第一步就可以写为：
$$\begin{array}{rl}& \text{1a.}{x}^{k+1|t+1}{|}_{z=z^{k+1|t}}=\arg \underset{x}{\min }f(x)+\frac{c}{2}\Vert x-z^{k+1|t}+\frac{v^k}{c}{\Vert }_2^2\\ & \text{1b.}{z}^{k+1|t+1}{|}_{x=x^{k+1|t}}=\arg \underset{z}{\min }g(z)+\frac{c}{2}\Vert z-x^{k+1|t+1}+\frac{v^k}{c}{\Vert }_2^2\end{array}$$
但是这个二重循环复杂度实在太高，一旦迭代次数过多收敛会非常慢，更别说这里只是两个函数求和，那我要是多个函数求和怎么办？于是就有了交替方向乘子法（ADMM），它采用分布式的计算来解决了这个问题。

假设我们现在有一个中心计算机和它所通信的一个计算机群，我们考虑这么一个优化问题：
$$\begin{array}{rlrl}\min & & \sum _{i=1}^n{f}_i(x)& \end{array}$$
类似于上面的转换，我们构造一下它的等价问题：
$$\begin{array}{rlrl}\min & & \sum _{i=1}^n{f}_i(x_i)& \\ \text{s.t.}& & x_i& =zi=1,\cdots ,n\end{array}$$
其增广拉格朗日函数：
$$l_c=\sum _{i=1}^n{f}_i(x_{)}+\sum _{i=1}^n{v}_i^T(x_i-z)+\frac{c}{2}\sum _{i=1}^n\Vert x_i-z{\Vert }_2^2$$
接下来我们按照上面的$\text{1a,1b,2}$写出$\text{1,2,3}$三步，同时对每一步进行一些等价变换，就得到了ADMM。
1. { x i k + 1 } = arg ⁡ min ⁡ { x i } ∑ i = 1 n f i ( x i ) + c 2 ∑ i = 1 n ∥ x i − z k + v i k c ∥ 2 2 ⇔ x i k + 1 = arg ⁡ min ⁡ x i ∑ i = 1 n f i ( x i ) + c 2 ∑ i = 1 n ∥ x i − z k + v i k c ∥ 2 2 2. z k + 1 = arg ⁡ min ⁡ c 2 ∑ i = 1 n ∥ z − x i k + 1 − v i c ∥ 2 2 ⇔ z k + 1 = 1 n ∑ i = 1 n ( x i k + 1 + v i c ) 3. v i k + 1 = v k + c ( x i k + 1 − z k + 1 ) \begin{aligned} \text{1.}&&\lbrace x_i^{k+1}\rbrace&=\arg\min_{\lbrace x_i\rbrace}\sum_{i=1}^nf_i(x_i)+\frac c 2\sum_{i=1}^n\|x_i-z^k+\frac{v_i^k} c\|_2^2\\ \Leftrightarrow&& x_i^{k+1}&=\arg\min_{ x_i}\sum_{i=1}^nf_i(x_i)+\frac c 2\sum_{i=1}^n\|x_i-z^k+\frac{v_i^k} c\|_2^2\\ \text{2.}&& z^{k+1}&=\arg\min\frac c 2\sum_{i=1}^n\|z-x_i^{k+1}-\frac{v_i}{c}\|_2^2\\ \Leftrightarrow&& z^{k+1}&=\frac 1 n \sum_{i=1}^n(x_i^{k+1}+\frac {v_i}c)\\ \text{3.}&&v_i^{k+1}&=v^k+c(x_i^{k+1}-z^{k+1}) \end{aligned} 1.⇔2.⇔3.​​{xik+1​}xik+1​zk+1zk+1vik+1​​=arg{xi​}min​i=1∑n​fi​(xi​)+2c​i=1∑n​∥xi​−zk+cvik​​∥22​=argxi​min​i=1∑n​fi​(xi​)+2c​i=1∑n​∥xi​−zk+cvik​​∥22​=argmin2c​i=1∑n​∥z−xik+1​−cvi​​∥22​=n1​i=1∑n​(xik+1​+cvi​​)=vk+c(xik+1​−zk+1)​
第一步的转换是将求和转换为分布，第二步就是直接解出来了。

梳理一下，我们得到ADMM为：
对于问题：
$$\begin{array}{rlrl}\min & & \sum _{i=1}^n{f}_i(x_i)& \\ \text{s.t.}& & x_i& =zi=1,\cdots ,n\end{array}$$
可以按照如下方法求解：
$$\begin{array}{rlrl}\text{1.}& & x_i^{k+1}& =\arg \underset{x_i}{\min }\sum _{i=1}^n{f}_i(x_i)+\frac{c}{2}\sum _{i=1}^n\Vert x_i-z^k+\frac{v_i^k}{c}{\Vert }_2^2\\ \text{2.}& & z^{k+1}& =\frac{1}{n}\sum _{i=1}^n(x_i^{k+1}+\frac{v_i}{c})\\ \text{3.}& & v_i^{k+1}& =v^k+c(x_i^{k+1}-z^{k+1})\end{array}$$
其中$z$是中心计算机要算的东西，计算机群更新$x,v$。在每一步，中心计算机得到$x,v$后计算$z$然后将$z$发给计算机群；计算机群得到$z$后计算$x,v$并提交$x,v$给中心计算机，如此循环往复，最终得到解。

个人思考

ADMM是集所有精华于一身的算法，无论是凸集凸函数对偶性拉格朗日函数的定义，还是梯度下降法最速下降法（坐标轮换法）的算法，都在其中有所体现。细细缕来，感觉就像搭积木一样，一层一层的搭。之前各种方法有着这样那样的性质，这样那样的缺点，通过取长补短提出一种新的方法，解决新的问题，很有意思。

纸质笔记