1、多智能体系统中的博弈论学习与分布式优化

多智能体系统中的博弈论学习与分布式优化

1. 研究动机

近年来，随着分布式网络系统的兴起，多智能体系统中的合作控制问题受到了广泛关注。像智能电网、社交网络、自主车辆团队以及机器学习场景中的处理器等，都是网络多智能体系统的典型例子。

在这些系统中，通常需要通过智能体的局部行动来实现全局目标。这类优化问题可以采用集中式方法解决，但这需要一个中央控制器（中央计算单元）来收集系统的全部信息并求解优化问题。然而，这种方法存在诸多局限性：
- 系统对中央单元的故障较为敏感。
- 信息交换成本高，因为智能体需要向中央单元传输本地信息并接收指令。
- 由于网络规模大，中央控制器可能无法在计算上处理优化问题。
- 系统可能没有资源来集成中央计算单元。

因此，在网络多智能体系统中，智能体需要在不进行集中计算的情况下，仅利用本地信息来优化全局目标。目前已经提出了多种方法来解决这个问题，包括强化学习、博弈论建模和分布式优化算法。

本文主要关注博弈论方法在多智能体系统优化中的应用。使用这种方法的一个原因是，可以设计博弈，使纳什均衡状态的一个子集对应于从全局角度来看理想的系统最优状态。在这种情况下，博弈论学习是一个特别有趣的话题，它涉及分析基于智能体可用本地信息的分布式适应规则，以确保集体行为收敛到全局问题的最优解。

另一方面，一些多智能体优化问题自然地适用于博弈论框架。例如，在网络系统中的合作路由问题中，每个智能体的成本不仅取决于自己的行动，还取决于其他智能体的联合行动。这种耦合引发了博弈论的表述，因为局部利益依赖于全局行为。我们假设系统的目标是最小化智能体的总成本（路由的社会成本），而每个智能体只知道自己的成本。这样的优化问