54、黎曼流形上的一阶优化方法解读

黎曼流形上的一阶优化方法解读

1. 次梯度法的收敛性与复杂度分析

次梯度法最初由Shor等人在20世纪60 - 70年代开发，之后被广泛应用于优化理论中的各种问题。考虑在黎曼流形上处理非光滑凸优化问题时，该方法在不同的背景下得到了研究。

首先，证明了序列 ${p_k}$ 的收敛性。通过引理和定理可知，${p_k}$ 是有界的，设 $\bar{p}$ 是 ${p_k}$ 的一个聚点，存在子序列 ${p_{k_i}}$ 使得 $\lim_{k_i \to +\infty} p_{k_i} = \bar{p}$，且 $\bar{p} \in \Omega^*$。同时，${d(p_k, \bar{p})}$ 单调非增且收敛，最终得出 ${p_k}$ 收敛。

接下来是迭代复杂度分析，假设 $\Omega^ \neq \varnothing$，设 $p^ \in \Omega^ $ 且 $\lim_{k \to \infty} p_k = p^ $，$\tau > 0$ 满足 $|s_k| \leq \tau$（当 $f: M \to \mathbb{R}$ 是Lipschitz连续时，$\tau$ 可取为 $f$ 的Lipschitz常数）。
- 策略18.17下的次梯度法 ：定理表明，对于所有 $p^ \in \Omega^ $ 和每个 $N \in \mathbb{N}$，有不等式 $\min_{\Omega} {f(p_k) - f^ : k = 0, 1, \ldots, N} \leq \frac{\tau d^2(p_0, p^ ) +