1、多智能体系统中的博弈论学习与分布式优化

多智能体系统中的博弈论学习与分布式优化

1. 研究动机

近年来，随着分布式网络系统的出现，多智能体系统中的协同控制问题受到了广泛关注。诸如智能电网、社交网络、自主车队、机器学习场景中的处理器等都是网络化多智能体系统的实例。在这些系统中，通常需要通过智能体的局部行动来实现全局目标。

传统的集中式解决方案需要一个中央控制器来收集系统的全部信息并解决优化问题，但这种方法存在局限性：
- 对中央单元的故障敏感；
- 信息交换成本高；
- 由于网络规模大，优化问题可能对中央控制器来说计算不可行；
- 可能没有资源来集成中央计算单元。

因此，在网络化多智能体系统中，智能体需要在不进行集中计算的情况下，仅利用局部信息来优化全局目标。目前已经提出了多种方法来解决这个问题，包括强化学习、博弈论建模和分布式优化算法。

本研究主要关注多智能体系统优化的博弈论方法。使用这种方法的一个原因是，可以设计博弈，使纳什均衡状态的一个子集对应于从全局角度来看理想的系统最优状态。博弈论学习涉及分析基于智能体局部信息的分布式适应规则，以确保集体行为收敛到全局问题的最优解。

同时，一些多智能体优化问题自然地符合博弈论框架。例如，在网络系统的合作路由问题中，每个智能体的成本不仅取决于自身的行动，还取决于其他智能体的联合行动。这种优化问题可以看作是分布式优化问题的一个特例，智能体需要就最优状态的估计达成共识，并且这个共识应满足系统的全局最优。

局部信息在博弈论学习和分布式优化算法中都起着重要作用。本研究针对不同的信息设置，为多智能体系统提供了寻找最优解的合适动态。为了限制算法所需的系统资源，重点关注无记忆过程，即智能体仅根据