5、无记忆玩家潜在博弈中的Logit动态分析

无记忆玩家潜在博弈中的Logit动态分析

在多智能体系统中，学习算法对于系统达到最优状态至关重要。本文将深入探讨无记忆玩家在潜在博弈中的学习算法，包括对数线性学习、独立对数线性学习，并对算法的收敛速度进行估计。

对数线性学习与信息需求

对数线性学习算法中，每个玩家观察当前时间 $t$，并使用关于其效用函数对其他玩家当前联合行动的所有响应信息，这种信息被称为基于神谕的信息。玩家在决策时不需要游戏历史，因此该学习过程可应用于智能体无记忆的多智能体系统。

在该算法执行中，玩家需要访问基于神谕的信息，且每个时间步仅允许一个玩家更新其行动，这需要系统中放置一个中央控制器。然而，在某些场景（如路由）中，智能体通常会同时更新其行动。研究表明，在设计的潜在博弈中，如果玩家同步行动且仅能获取基于神谕的信息，他们无法以趋于 1 的概率随时间达到潜在函数最大化者。

以一个 $2\times2$ 对称协调博弈为例：
| | B1 | B2 |
| — | — | — |
| A1 | (1, 1) | (0, 0) |
| A2 | (0, 0) | (1, 1) |

假设两个玩家同时行动且仅能访问基于神谕的信息，对数线性学习中玩家行动的同时更新不会导致该博弈达到纳什均衡。由于系统无记忆，任何学习算法都对应一个马尔可夫链。通过分析该马尔可夫链的转移概率矩阵，发现所有状态具有相同的随机势，这与算法收敛到纳什均衡的假设相矛盾，即学习过程在这种设置下不会在总变差上收敛到纳什均衡集。

独立对数线性学习

为解决上述问题，引入了独立对数线性学习算法。在该算法中，除了基于神谕的信息，每个智能体还