56、黎曼随机优化算法：加速随机梯度下降与函数分析

黎曼随机优化算法：加速随机梯度下降与函数分析

1. 黎曼SVRG算法

黎曼SVRG（Riemannian SVRG）算法是基于随机方差缩减梯度（SVRG）技术的一种变体，用于在黎曼流形上解决优化问题。以下是该算法的具体步骤：

Algorithm 2 Riemannian SVRG
1: 给定：具有回缩（retraction）Ret和向量传输T的光滑流形M；初始值x0；有限和代价函数f；更新频率m；迭代轮数S和K。
2: for k = 0, ..., K - 1 do
3:     ˜x0 = xk
4:     for s = 0, ..., S - 1 do
5:         计算完整的黎曼梯度∇f (˜xs)
6:         存储xs+1_0 = ˜xs
7:         for t = 0, ..., m - 1 do
8:             从{1, ..., n}中均匀随机选择it
9:             计算ξs+1_t = ∇fit (xs+1_t) - T˜xs,xs+1_t(∇fit (˜xs) - ∇f (˜xs))
10:            使用步长规则选择步长αs+1_t
11:            计算xs+1_t+1 = Retxs+1_t(-αs+1_tξs+1_t)
12:        end for
13:        选项I - a：设置˜xs+1 = xs+1_m
14:        选项II - a：从{0, ..., m - 1}中随机选择t，设置˜xs+1 = xs+1_t
15:    end for
16:    选项I - b：设置xk+1 =