9、非凸优化中的加速算法解析

非凸优化中的加速算法解析

在优化领域，非凸优化问题一直是研究的重点和难点。传统的优化算法在处理非凸问题时往往面临收敛速度慢、难以找到全局最优解等问题。为了解决这些问题，研究人员提出了一系列加速算法，本文将详细介绍几种常见的非凸优化加速算法。

1. 带动量的近端梯度法与单调APG算法

在非凸优化中，带动量的近端梯度法是一种常用的方法。通过一系列推导，我们可以得到以下关系：
[r_{k}^{2\theta - 1} \geq (k - k_0)d^2(1 - 2\theta)/C]
进而得到：
[r_k \leq \left(\frac{C}{(k - k_0)d^2(1 - 2\theta)}\right)^{\frac{1}{1 - 2\theta}}]
令 (k_3 = k_0)，则有：
[F(x_k) - F^* = r_k \leq \left(\frac{C}{(k - k_3)d^2(1 - 2\theta)}\right)^{\frac{1}{1 - 2\theta}}, \forall k \geq k_3]

此外，还有一种单调APG算法，其具体步骤如下：

Algorithm 4.2 Monotone APG
Initialize y0 = x0, β ∈(0, 1), and η < 1/L.
for k = 0, 1, 2, 3, · · · do
    yk = xk + (tk−1/tk)(zk − xk) + ((tk−1−1)/tk)(xk − xk−1)
    zk+1 = Proxαyg(yk − αy∇