ADMM优化算法

ADMM优化算法

原文链接： http://www.cnblogs.com/breezedeus/p/3496819.html

从等式约束的最小化问题说起：

$\min f(x) \quad s.t. Ax=b$

上面问题的拉格朗日表达式为：

$L(x,λ)=f(x)+λ^T(Ax-b)$

也就是前面的最小化问题可以写为：

$\min\limits_x\max\limits_λ L(x,λ)$

它对应的对偶问题为：

$\max\limits_λ\min\limits_xL(x,λ)$

下面是用来求解此对偶问题的对偶上升迭代方法：

$$\begin{aligned} &x^{k+1}:=\arg\min\limits_xL(x,λ^k)&//x-minimization\\ &λ^{k+1}:=λ^k+α^k(Ax^{k+1}-b) &//dual\ update \end{aligned}$$
这个方法在满足一些比较强的假设下可以证明收敛。

为了弱化对偶上升方法的强假设性，一些研究者在上世纪60年代提出使用增强拉格朗日表达式（augmented Lagrangian）代替原来的拉格朗日表达式：

$L_ρ(x,\lambda) =f(x)+λ^T(Ax-b)+(ρ/2)||Ax-b||_2^2$

其中$ρ>0$。对应上面的对偶上升方法，得到下面的乘子法（method of multipliers）：

$$\begin{aligned} &x^{k+1}:=\arg\min\limits_xL_ρ(x,λ^k)\\ &λ^{k+1}:=λ^k+ρ(Ax^{k+1}-b) \end{aligned}$$
注意，乘子法里把第二个式子里的 $α^k$改成了增强拉格朗日表达式中引入的 $ρ$。这不是一个随意行为，而是有理论依据的。利用$L(x,\lambda)$可以导出上面最小化问题对应的原始问题和对偶问题可行性条件，分别为（ $\dfrac{∂L}{∂λ}=0，\dfrac{∂L}{∂x}=0$）：

$Ax^*-b=0, \quad\nabla f(x^*)+A^Tλ^*=0$

既然$x^{k+1}$最小化$L_ρ(x,λ^k)$，有：

$$\begin{aligned} 0 \quad &=\quad\nabla_xL_ρ(x^{k+1},λ^k)\\ &=\quad\nabla_xf(x^{k+1})+A^T(λ^k+ρ(Ax^{k+1}-b))\\ &=\quad\nabla_xf(x^{k+1})+A^Tλ^{k+1} \end{aligned}$$
上面最后一个等式就是利用 $λ^{k+1}=λ^k+ρ(Ax^{k+1}-b)$。从上面可知，这种 $λ^{k+1}$的取法使得 $(x^{k+1}, λ^{k+1})$满足对偶问题可行条件 $\dfrac{∂L}{∂x}=0$。而原始可行条件在迭代过程中逐渐成立。

乘子法弱化了对偶上升法的收敛条件，但由于在$x-minimization$步引入了二次项而导致无法把$x$分开进行求解（详见这儿)。而接下来要讲的Alternating Direction Method of Multipliers (ADMM)就是期望结合乘子法的弱条件的收敛性以及对偶上升法的可分解求解性。ADMM求解以下形式的最小化问题：

$$min f(x)+g(z) \quad s.t. \quad Ax+Bz=c \qquad(1)$$
其对应的增强拉格朗日表达式为：

$$L_ρ(x,z, λ)=f(x)+g(z)+λ^T(Ax+Bz-c)+(ρ/2)||Ax+Bz-c||_2^2 \qquad(2)$$
ADMM包括以下迭代步骤：
$$\begin{aligned} &x^{k+1}:=\arg\min\limits_xL_ρ(x,z^k, λ^k)&\quad(3)\\ &z^{k+1}:=\arg\min\limits_zL_ρ(x^{k+1},z, λ^k)&\quad(4)\\ &λ^{k+1}:=λ^k+ρ(Ax^{k+1}+Bz^{k+1}-c) &\quad(5) \end{aligned}$$
ADMM其实和乘子法很像，只是乘子法里把 $x$和$z$放一块求解，而ADMM是分开求解，类似迭代一步的Gauss-Seidel方法。其中(5)中的推导类似于乘子法，只是使用了 $z^{k+1}$最小化 $L_ρ(x^{k+1},z,λ^k)$：
$$\begin{aligned} 0 \quad &=\quad\nabla_zg(z^{k+1})+B^Tλ^k+ρB^T(Ax^{k+1}+Bz^{k+1}-c)\\ &=\quad\nabla_zg(z^{k+1})+B^Tλ^{k+1} \end{aligned}$$
其中用到了 $z$对应的对偶可行性式子：$\dfrac{∂L}{∂z}=\nabla g(z^*)+B^Tλ^*=0$。
定义新变量 $u=\dfrac{λ}{ρ}$，，那么(3-5)中的迭代可以变为以下形式：
$$\begin{aligned} &x^{k+1}:=\arg\min\limits_x(f(x)+(ρ/2)||Ax+Bz^k-c+u^k||_2^2&\quad(6)\\ &z^{k+1}:=\arg\min\limits_z(g(z)+(ρ/2)||Ax^{k+1}+Bz-c+u^k||_2^2&\quad(7)\\ &u^{k+1}:=u^k+Ax^{k+1}+Bz^{k+1}-c&\quad(8) \end{aligned}$$
在真正求解时通常会使用所谓的over-relaxation方法，也即在求解 $z$和$u$中使用下面的表达式代替其中的 $Ax^{k+1}$：
$$α^kAx^{k+1}−(1−α^k)(Bz^k−c)$$
其中 $α^k$为relaxation因子。有实验表明 $α^k∈[1.5,1.8]$可以 改进收敛性。

ADMM的框架确实很牛逼，把一个大问题分成多个小问题。理论上，ADMM的框架可以解决大部分实际中的大尺度问题。我自己全部实现了一遍这个框架，主要用于求解LR（逻辑回归）问题，下面说说我碰到的一些问题：

1. 收敛不够快，往往需要迭代几十步。整体速度主要依赖于$x^i$更新时所使用的优化方法，个人建议使用liblinear里算法，但是不能直接拿来就用，需要做一些调整。
2. 停止准则和ρ的选取：停止准则主要考量的是$x^i$和$z$之间的差异和它们本身的变动情况，但这些值又受ρ的取值的影响。它们之间如何权衡并无定法。个人建议使用模型在测试集上的效果来确定是否停止迭代。
3. relaxation步骤要谨慎：α的取值依赖于具体的问题，很多时候的确可以加快收敛速度，但对有些问题甚至可能带来不收敛的后果。用的时候不论是用$x -> z -> u$的更新步骤，还是用$u -> x -> z$的更新步骤，在$u$步使用的$\hat{x}$要和在$z$步使用的相同（使用旧的$z$），而不是使用$z$步刚更新的$z$重算。
4. warm start 和子问题求解逐渐精确的策略可以降低xi更新时的耗时，但也使得算法更加复杂，需要设定的参数也增加了。

---

stanford的比较好的一个源码和实例链接

http://www.stanford.edu/~boyd/papers/admm/