精确的一阶分布式算法：Extra

最新推荐文章于 2025-08-07 10:36:29 发布

转载

最新推荐文章于 2025-08-07 10:36:29 发布 · 878 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/sybear/p/10850194.html

本文介绍了Extra算法，一种精确且步长固定的分布式优化方法。它适用于无向不平衡图，满足特定矩阵性质，并能处理各种转移矩阵形式。算法通过递推更新实现，适用于闭凸且利普希茨连续的目标函数。最后，讨论了算法的收敛性证明。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

简介：避免数据融合中心（a data fusion center）或是远程通信(a long distance communication)又或是提供更好的负载平衡（better load balance），即一般的分布式计算的背景。

特点:
exact：准确收敛
constant stepsize：固定步长

假设条件1: (图拓扑或matrix假设)

Decentralized Property：$\omega_{ij}=\tilde{\omega}_{ij}=0$（如果不存在通信或连接）

Symmetry：$W=W^T$, $\tilde{W}=\tilde{W}^T$(注意这里并没有要求平衡图，因此是无向不平衡)

Null Space Property: null {$W-\tilde{W}$}=span {$1$}

Spectral Property: $\tilde{W}\succ 0$, $\frac{I+W}{2}\succeq\tilde{W}\succeq{W}$

关于转移矩阵的四种形式:

对称双随机(对称双随机转移矩阵是最理想的分布式优化条件)
- 基于Laplace常数的边权矩阵(Laplacian-based constant edge weight matrix)
$$W=I-\frac{L}{\tau}$$
其中$L$是图的拉普拉斯矩阵，$\tau >\frac{1}{2}\lambda_{\max}(L)$是一个标量，如果找不到$\lambda$,可以设置节点最大度+$\epsilon$，例如1
- 序列常数边权矩阵(Metropolis constant edge weight matrix)
对称最快线形平均矩阵(FDLA)

Ext