2、基于行随机权重矩阵的分布式优化线性收敛研究

基于行随机权重矩阵的分布式优化线性收敛研究

1. 引言

近年来，多智能体网络在新兴领域取得了巨大进展，越来越多的研究者对其进行了深入研究并取得显著成果。随着网络控制系统的普及，多智能体网络不仅为动态系统的建模和分析提供了理论分析方法，还在分布式人工智能研究中发挥着至关重要的作用。分布式协调与优化作为多智能体网络研究的重要课题，受到了广泛关注，在分布式状态估计、资源分配、回归以及机器学习等工程领域有诸多应用。

分布式优化问题近期取得了许多重要成果，解决分布式凸优化问题的显著方法包括分布式（次）梯度下降、分布式对偶平均和分布式Nesterov（次）梯度等。这些方法大多基于分布式（次）梯度下降，计算简单直观，但采用递减步长时收敛速度通常较慢。此外，对各种现实因素和技术的扩展研究也十分广泛，如随机（次）梯度误差、切换拓扑、不协调局部约束、随机链路故障和分布式充电控制等。从收敛速度的角度来看，采用恒定步长可以提升上述分布式方法，但会出现收敛不准确的缺点。

还有一些方法结合了分布式（次）梯度下降与其他策略，如Nedic和Olshevsky提出的分布式（次）梯度推送方法，Xi等人构建的有向分布式（次）梯度下降方法，以及基于权重平衡机制的分布式（次）梯度下降方法等。这些方法在强凸函数下的收敛速度为O(lnk/k)。为加速收敛，Xi和Khan提出了一种新的快速分布式梯度方法，在目标函数为强凸且每个智能体获取其局部出度信息时，能以O(λk)（0 < λ < 1）的速率线性收敛到精确最优解，但这些方法都要求所有智能体准确掌握其入邻节点的出度信息，在某些实际场景中可能不现实。

相关研究还包括基于梯度跟踪的Aug - DGM算法、DIGing/Push - DIGing算法