Proximal Algorithms 2 Properties

Proximal Algorithms

可分和

如果$f$可分为俩个变量:$f(x,y)=\phi (x)+\psi (y)$, 于是:

如果$f$是完全可分的，即$f(x)={\sum }_{i=1}^n{f}_i(x_i)$:
$$({\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_f(v){)}_i={\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{f_i}(v_i)$$

这个性质在并行算法的设计中非常有用。

基本的运算

如果$f(x)=\alpha \phi (x)+b$, $\alpha >0$:
$${\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda f}(v)={\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\alpha \lambda \phi }(v)$$

如果$f(x)=\phi (\alpha x+b)$, $\alpha ̸=0$:

证：
$$\begin{array}{ll}{\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda f}(v)& ={\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}}_x\phi (\alpha x+b)+\frac{1}{2\lambda }\Vert x-v{\Vert }_2^2\\ & ={\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}}_x\phi (z)+\frac{1}{2\lambda }\Vert (z-b)/\alpha -v{\Vert }_2^2\\ & ={\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}}_x\phi (z)+\frac{1}{2\lambda {\alpha }^2}\Vert z-b-\alpha v{\Vert }_2^2\\ & =\frac{1}{\alpha }({\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{{\alpha }^2\lambda \phi }(\alpha v+b)-b)\end{array}$$
其中$z=\alpha x+b$,证毕.
如果$f(x)=\phi (Qx)$，且$Q$为正交矩阵:
$${\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda f}(v)=Q^T{\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda \phi }(Qv)$$

如果$f(x)=\phi (x)+a^{T}x+b$，则:
$${\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda f}(v)={\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda \phi }(v-\lambda a)$$
证:
$$\begin{array}{ll}{\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda f}(v)& ={\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}}_x\phi (x)+a^{T}x+b+\frac{1}{2\lambda }\Vert x-v{\Vert }_2^2\\ & ={\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}}_x\phi (x)+\frac{1}{2\lambda }(x^{T}x-2v^{T}x+2\lambda a^{T}x)+c\\ & ={\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}}_x\phi (x)+\frac{1}{2\lambda }\Vert x-(v-\lambda a){\Vert }_2^2\\ & ={\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda \phi }(v-\lambda a)\end{array}$$
其中$c$为与$x$无关的项.

如果$f(x)=\phi (x)+(\rho /2)\Vert x-a{\Vert }_2^2$, 则:
$${\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\lambda f}(v)={\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\tilde{\lambda }\phi }((\tilde{\lambda }/\lambda )v+(\rho \tilde{\lambda })a)$$
其中$\tilde{\lambda }=\lambda /(1+\lambda \rho )$，证明方法和上面是类似的，重新组合二次项就可以了.

不动点 fixed points

点$x^{\ast }$最小化$f$当且仅当:
$$x^{\ast }={\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_f(x^{\ast })$$
这说明，$x^{\ast }$是${\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_f$的一个不动点，这个性质对于$\lambda f$也是成立的.

压缩映射的定义:
考虑映射$T:(X,\rho )\to (X,\rho )$. 如果存在$0<a<1$使得对任意的$x,y\in X$有:
$$\rho (Tx,Ty)<a\rho (x,y)$$
则称函数$T$是$(X,\rho )$到自身的压缩映射.

如果${\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_f$是一个压缩映射，那么显然，如果我们想要找出最小化$f$的$x^{\ast }$，可以用下式迭代：
$$x^{n+1}={\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_f(x^n)\to x^{\ast }$$
比如${\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_f$满足$L<1$的Lipschitz条件.

近端算子有这个性质:

这儿有关于这块内容的讨论.

$x={\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_f(v)\iff v-x\in \partial f(x)$，其中$\partial$表示次梯度.
设$u_1={\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_f(x),u_2={\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_f(y)$,则:
$$\begin{gathered} x-u_1\in \partial f(u_1) \\ y-u_2\in \partial f(u_2) \end{gathered}$$
因为$f$是凸函数，所以$\partial f$是单调增函数:
$$\begin{gathered} <x-u_1-(y-u_2),u_1-u_2>\ge 0 \\ \Rightarrow \Vert u_1-u_2{\Vert }_2^2\le (x-y{)}^T(u_1-u_2) \end{gathered}$$
上面的单调增函数，翻译的估计不对，主要是我对这方面的只是也不了解，原文用的是monotone mapping, 我们来看凸函数$f(x)$:
$$\begin{gathered} f(y)\ge f(x)+\partial f(x{)}^T(y-x) \\ f(x)\ge f(y)+\partial f(y{)}^T(x-y) \end{gathered}$$
相加即得：
$$(\partial f(x)-\partial f(y){)}^T(x-y)\ge 0$$
还有严格凸的情况下有个特殊情况，这个怎么证明啊…而且，似乎在不是严格凸的，利用上面的迭代公式也是能够收敛到不动点的，可似乎不满足不动点定理啊.

而且作者将这个与平均算子(averaged operators)联系起来:
$$T=(1-\alpha )I+\alpha N,\alpha \in (0,1)$$
以及迭代公式:
$$x^{k+1}:=(1-\alpha )x^k+\alpha N$$

Moreau decomposition

有以下事实成立:

以下的证明是属于

沿用其符号，令（注意是$\inf$不是$\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}$）
f μ ( x ) = inf ⁡ y { f ( y ) + 1 μ ∥ x − y ∥ 2 2 } f_{\mu}(x) = \inf_y \{f(y) + \frac{1}{\mu} \|x-y\|_2^2\} fμ​(x)=yinf​{f(y)+μ1​∥x−y∥22​}
我们可以其改写为:

注意$-\sup A=\inf -A$
假设$f$是凸函数且可微的,那么:
$$f^{\ast }(y)={x^{\ast }}^T\nabla f(x^{\ast })-f(x^{\ast })$$
其中，$x$满足:$y=\nabla f(x^{\ast })$。于是(注意$\nabla f(x^{\ast })=y$, 且上式是关于$y$求导):
$$\nabla f^{\ast }(y)=x^{\ast }$$
这就是$\nabla f_{\mu }(x)$的由来.

我们再来看其对偶表示:

其拉格朗日对偶表示为：

如果满足强对偶条件:

所以:
$$\begin{gathered} f_{\mu }(x)=\frac{1}{2\mu }\Vert x{\Vert }^2-\frac{1}{\mu }(\mu f+\frac{1}{2}\Vert \cdot {\Vert }^2{)}^{\ast }(x)=(f^{\ast }+\frac{\mu }{2}\Vert \cdot {\Vert }^2{)}^{\ast }(x) \\ \Rightarrow \frac{1}{2}\Vert x{\Vert }^2=(\mu f+\frac{1}{2}\Vert \cdot {\Vert }^2{)}^{\ast }(x)+\mu (f^{\ast }+\frac{\mu }{2}\Vert \cdot {\Vert }^2{)}^{\ast }(x) \\ \Rightarrow x={\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\mu f}(x)+\mu {\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\frac{1}{\mu }{f}^{\ast }}(\frac{x}{\mu })=x={\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{\mu f}(x)+{\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{(\mu f{)}^{\ast }}(x) \end{gathered}$$
最后一步的结果通过对上式俩边求导得到的，不知道对不对，但是$\mu =1$的时候，下式是一定成立的:
$$x={\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_f(x)+{\mathbf{p}\mathbf{r}\mathbf{o}\mathbf{x}}_{f^{\ast }}(x)$$