4、分布式优化的线性收敛实现

分布式优化的线性收敛实现

1. 引言

在分布式优化领域，自适应步长对于提升算法的实用性至关重要。下面将详细介绍相关的主要贡献：
- 分布式算法提出 ：提出一种分布式算法，用于分析时变有向网络上多智能体系统的凸优化问题，且步长无需协调。
- 收敛性保证 ：与已有的分布式下降方法或推和协议不同，该算法即使在使用不协调步长进行局部优化时，也能确保收敛到最小值。
- 线性收敛速率 ：理论分析表明，当目标函数具有强凸性和Lipschitz连续梯度时，只要不协调步长小于一个明确的上界，算法就能实现线性收敛，且无需正的下界。同时，还构建了线性收敛方法，并确定了其收敛速率的明确界限。
- 模拟结果验证 ：模拟结果显示，该算法的收敛速率比著名的分布式（次）梯度下降（DGD）算法和推和算法更快。

2. 预备知识

2.1 符号说明

为了便于后续的分析，先介绍一些标准符号。若无特殊说明，本章中的向量均为列向量。对于向量 $x \in R^N$，其平均向量表示为 $\bar{x} = (1/N) 1_N^T x$，共识偏差表示为 $\breve{x} = x - (1/N) 1_N^T x = (I_N - J)x = \breve{J}x$，其中 $J = (1/N) 1_N^T$ 和 $\breve{J} = I_N - J$ 是两个对称矩阵。同时，使用 $|x| {\breve{J}} = \sqrt{\langle x, \breve{J}x \rangle}$ 表示其