Proximal Algorithms--Accelerated proximal gradient method

4.3 Accelerated proximal gradient method：

加速近端梯度方法：
基本的近端梯度方法的所谓的“加速”版本，就是在算法中包含了一个外推(extrapolation)步骤，一个简单的版本是：

$$y^{k+1}:=x^k+\omega^k(x^k-x^{k-1})$$
$$x^{k+1}:=\mathbf {prox}_{\lambda ^k g}(y^{k+1}-\lambda^k \triangledown f(y^{k+1}))$$
其中$\omega ^k \in [0,1)$是外推参数，$\lambda ^k$是一般的步长。这些参数必须以特定的方式进行选择才能达到收敛加速的效果。一个简单的选择是：
$$\omega ^k= \frac {k}{k+3}$$
仍然需要选择步长$\lambda ^k$。
当$\triangledown f$是Lipschitz连续，其常数为$L$。当使用固定步长$\lambda ^k=\lambda \in (0,1/L]$时，该算法收敛速度为$O(1/k^2)$。如果$L$未知的话，使用线性搜索确定步长$\lambda ^k$。