15、多智能体系统中的分布式优化与博弈论学习

多智能体系统中的分布式优化与博弈论学习

1. 随机方法在分布式优化与博弈论学习中的应用

随机近似Robbins - Monro过程被应用于多智能体系统的分布式优化以及潜在博弈中的基于通信和基于收益的学习。

1.1 推和协议在分布式优化中的应用

推和协议可用于非凸函数之和的分布式优化，这些非凸函数被视为局部智能体的成本函数。该协议的主要优点是对通信拓扑的要求较低，仅需S - 强连通性。并且，智能体只需知道其出邻接点的数量即可组织通信。在推和算法下，智能体的局部变量几乎肯定会收敛到优化问题的局部解。

1.2 两种学习过程

在连续动作潜在博弈中，Robbins - Monro过程被用于学习潜在函数的局部最大值，提出了两种学习过程：
- 基于通信的学习过程 ：智能体除了进行通信外，还需要获取其效用函数关于自身行动的偏导数。使用推和协议来设置智能体之间的信息交换，在对潜在函数的一些标准假设下，联合行动几乎肯定会收敛到潜在函数的局部最大值。
- 基于收益的学习过程 ：系统中没有通信拓扑，智能体只能观察其个体实际行动和相应的收益。基于这些信息，智能体根据由正态分布建模的混合策略选择行动，其参数在算法运行期间更新。在这种情况下会发生弱收敛和依概率收敛，并且该学习过程适用于学习凹潜在博弈中使潜在函数最大化的纳什均衡，能保证高效性能。

1.3 算法参数与收敛性分析

以图 4.20 和 4.21 为例，展示了在基于收益的学习算法中，当用户数量 $N = 100$，$\alpha(t) = \frac{1}{t^{0.