27、分布式优化算法详解

分布式优化算法详解

1. 引言

在优化问题的求解中，分布式优化算法具有重要的应用价值。它能够在多个代理之间分配计算任务，通过局部信息的交换和处理，最终找到全局最优解。本文将详细介绍分布式优化中的两种重要算法：分布式次梯度算法和分布式ADMM算法。

2. ADMM算法的收敛性质

ADMM（交替方向乘子法）算法在分布式优化中起着关键作用。该算法具有以下收敛性质：
- 残差收敛 ：残差 $r[k] \triangleq h(x[k], z[k])$ （$k = 0, 1, 2, \cdots$）随着 $k \to \infty$ 收敛到 0。这意味着迭代收敛到问题 (6.92) 的一个可行解。
- 目标值收敛 ：目标值 $f(x[k]) + g(z[k])$ 收敛到最优值 $f^ \triangleq \inf_{x\in\mathbb{R}^n,z\in\mathbb{R}^m, h(x,z)=0} f(x) + g(z)$。
- 最优解收敛 ：如果矩阵 $A$ 满足 $A^TA$ 是正定的，那么序列 ${(x[k], z[k])}$ 收敛到优化问题 (6.92) 的一个最优解 $(x^ , z^*)$。

3. 分布式优化问题

考虑如下优化问题：
$$\min_{x\in\mathbb{R}^n} \sum_{i=1}^{N} f_i(x) \quad \text{s.t.} \quad x \in \bigcap_{i=1}^{N} C_i$$