ADMM之1范数理解

1. 问题

论文 [ADMM]Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers 中第6.1节的公式式怎么的出来的？

2. 分析$X$

$$\begin{gathered} x^{k+1}=\arg \underset{x^k}{\min }\frac{\rho }{2}\Vert Ax-z-b{\Vert }_2^2+⟨\lambda ,Ax-z-b⟩ \\ =\arg \underset{x^k}{\min }\frac{\rho }{2}\Vert Ax-z-b+\frac{1}{\rho }\lambda {\Vert }_2^2 \\ =\arg \underset{x^k}{\min }\frac{\rho }{2}\Vert Ax-z-b+u{\Vert }_2^2 \end{gathered}$$
这一步是因为令 $u=\frac{\lambda }{\rho }$,从而改变了第三式的迭代表达（用$\lambda$的时候，其迭代式是有系数$\rho$的）

令 $f(x)=\Vert Ax-z-b+u{\Vert }_F^2,S=Ax-z-b+u$
则 $$\frac{\partial f}{\partial S}=2S=2(Ax-z-b+u)$$

$$\begin{gathered} df=tr[(\frac{\partial f}{\partial S}{)}^{T}dS]=tr[(\frac{\partial f}{\partial S}{)}^{T}d(Ax-z-b+u)] \\ =tr[(\frac{\partial f}{\partial S}{)}^T(Adx)] \\ =tr[(A^T\frac{\partial f}{\partial S}{)}^{T}dx] \end{gathered}$$
所以：
$$\begin{gathered} \frac{\partial f}{\partial x}=A^T\frac{\partial f}{\partial S}=A^T[2(Ax-z-b+u)] \\ =2A^T(Ax-z-b+u) \end{gathered}$$
令上式为0，则
$$\begin{gathered} A^{T}Ax=A^T(z+b-u) \\ x=(A^{T}A{)}^{-1}{A}^T(z+b-u) \end{gathered}$$
结论得证。

$对于X的迭代，其主要是让偏导为0而计算得出的。$

3. 分析$Z$

$$\begin{gathered} z^{k+1}=\arg \underset{z^k}{\min }\Vert z{\Vert }_1+\frac{\rho }{2}\Vert Ax-z-b{\Vert }_2^2+⟨\lambda ,Ax-z-b⟩ \\ =\arg \underset{x^k}{\min }\Vert z{\Vert }_1+\frac{\rho }{2}\Vert Ax-z-b+u{\Vert }_2^2 \end{gathered}$$

其属于1范数+F范数求极小的范畴，直接写出答案：
$$z=S_{\frac{1}{\rho }}(Ax-b+u)$$
可参考 https://blog.youkuaiyun.com/lgl123ok/article/details/122458509。

4. 分析$u$

注意的是，此处的$u=\frac{\lambda }{\rho }$，才有
$$u^{k+1}=u^k+Ax-z-b$$
否则应该是：
$${\lambda }^{k+1}={\lambda }^k+\rho (Ax-z-b)$$
其理论依据是原论文3.4-3.7式。

---

另外：https://zhuanlan.zhihu.com/p/86826985 对于ADMM有较详细的介绍，可供参考。