15、分布式优化与博弈论学习中的随机方法及相关理论

分布式优化与博弈论学习中的随机方法及相关理论

1. 分布式优化与博弈学习概述

在多智能体系统的优化问题和信息处理中，通过博弈论的表述和分布式学习来解决问题是一种有效的途径。这里主要聚焦于网络系统中的全局优化问题，通过将这类问题建模为潜在博弈，让潜在函数的最大化者对应系统的最优解，从而分析适用于不同信息结构的无记忆系统的学习算法。

1.1 随机近似Robbins - Monro程序的应用

随机近似Robbins - Monro程序在多智能体系统的分布式优化以及潜在博弈的通信和基于收益的学习中有着重要应用。

1.1.1 推和协议用于分布式优化

推和协议可用于非凸函数之和的分布式优化，这些非凸函数被视为局部智能体的成本函数。该协议的主要优势在于对通信拓扑的要求较低，仅需S - 强连通性。并且，智能体只需知道其出邻接点的数量就能组织通信。在推和算法下，智能体的局部变量几乎必然收敛到优化问题的局部解。

1.1.2 用于潜在博弈学习

将Robbins - Monro程序应用于连续动作潜在博弈中潜在函数局部最大值的学习，提出了两种学习程序：
- 基于通信的学习程序 ：智能体除了进行通信，还需要获取其效用函数关于自身动作的偏导数。利用推和协议来设置智能体之间的信息交换，这样就无需对通信拓扑做出严格假设。在对潜在函数的一些标准假设下，联合动作几乎必然收敛到潜在函数的局部最大值。
- 基于收益的学习程序 ：系统中不存在通信拓扑，智能体只能观察到自己的实际动作和相应的收益。基于这些信息，智能体根据由正态分布建模的混合