16、分布式随机优化：方差缩减与收敛分析

分布式随机优化：方差缩减与收敛分析

1. 问题重述

在处理优化问题时，我们通过引入基于边的约束来重新表述原问题。原问题可以表示为：
$$
\begin{align }
\min f (x) &= \sum_{i=1}^{N} f_i(x_i) = \sum_{i=1}^{N} \frac{1}{q_i} \sum_{h=1}^{q_i} f^h_i (x_i), \quad x \in \mathbb{R}^{nN}\
\text{s.t.} \quad & l_{ij}(x_i - x_j) = 0, \quad \forall (i, j) \in E
\end{align }
$$
其中，$x = [x_1^T, \ldots, x_N^T]^T \in \mathbb{R}^{nN}$ 是将局部迭代 $x_i$ 连接起来的向量。

通过拉普拉斯矩阵的分解，基于边的约束 $l_{ij}(x_i - x_j) = 0, (i, j) \in E$ 可以表示为向量形式 $(W^{\frac{1}{2}} C^T \otimes I_n) \times x = 0$。定义 $L = (L \otimes I_n)$，$W = (W \otimes I_n)$，$C = (C \otimes I_n)$ 后，问题等价于：
$$
\begin{align }
\min f (x) &= \sum_{i=1}^{N} f_i(x_i) = \sum_{i=1}^{N} \frac{1}{q_i} \sum_{h=1}^{q_i} f^h_i (x_i),