3、多智能体系统的乐观 - 悲观 Q 学习算法

多智能体系统的乐观 - 悲观 Q 学习算法

1. 引言

强化学习是一种强大的技术，它使得机器人能够骑自行车，计算机能够在西洋双陆棋游戏中达到人类世界冠军的水平，还能解决像电梯调度这样的高维度复杂任务。然而，对于像踢足球或虚拟市场投标这样的下一代挑战性问题，传统强化学习算法可能无法胜任。这是因为强化学习算法的收敛性仅在环境平稳的条件下得到保证，而在多智能体系统中，环境的平稳性往往会被打破。

为了将强化学习扩展到多智能体系统，人们提出了几种算法。不过，这些算法的收敛性要么是针对非常受限的环境类别（如严格竞争或严格合作），要么是针对非常受限的对手类别。只有 Nash - Q 算法在严格竞争和严格合作游戏的自对战中，在学习阶段遇到的所有均衡都是唯一的额外非常严格条件下，才能达到纳什均衡。

本文提出了一种基于 Hurwicz 乐观 - 悲观准则的算法，该算法总是能收敛到平稳策略（已正式证明），但只有在我们正确猜测准则的情况下才能达到最佳响应。

2. 预备定义和定理

2.1 2 人随机博弈的定义

一个 2 人随机博弈 Γ 是一个 6 元组 ⟨S, A1, A2, r1, r2, p⟩，其中：
- S 是离散状态空间（|S| = m）。
- Ak 是玩家 k（k = 1, 2）的离散动作空间。
- rk : S × A1 × A2 →R 是玩家 k 的收益函数。
- p : S × A1 × A2 →Δ 是转移概率映射，其中 Δ 是状态空间 S 上的概率分布集合。

每个随机博弈的状态都可以看作是一个双矩阵博弈。假设对于所有 s, s′ ∈S 和所有动作 a1 ∈A1、