多智能体强化学习（四）多智能体RL-优快云博客

本文链接：https://blog.youkuaiyun.com/wangyifan123456zz/article/details/117388128

本文探讨了多智能体强化学习中的核心概念，包括随机博弈的定义，基于价值和策略的MARL方法，纳什均衡的求解，以及特殊类型的随机策略，如团队游戏和部分可观测设置。理解这些概念有助于设计和优化多智能体环境下的协作和决策策略。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

多智能体强化学习（四）多智能体RL

在多智能体场景中，就像在单智能体场景中一样，每个智能体都在尝试通过试错程序来解决顺序决策问题。不同的是，环境状态的演变和每个智能体收到的奖励功能现在由所有智能体的联合行动决定（见图3）。因此，智能体不仅需要考虑环境，还需要考虑其他学习代理交互。一个涉及多个智能体的决策过程通常通过一个随机游戏来建模（沙普利，1953)，也被称为马尔可夫游戏(利特曼，1994）。

1. 问题的公式：随机博弈

定义2（随机博弈）随机博弈可以看作是定义1中MDP的多人博弈扩展。因此，它也由一组关键元素定义， $<N，\mathbb{S}，{A^i}_{\{i∈{1，…，N}\}}，P，\{R^i\}_{i∈{\{1，…，N\}}}，γ>$ 。

N：智能体的数量，N=1退化为单智能体MDP，N>>2在本文称为多智能体情况。
$\mathbb S$ ：所有智能体共享的环境状态集。
$\mathbb A$ :：智能体 $i$ 的动作集。我们表示 $\mathbb A$ ：= $\mathbb A^1$ ×···× $\mathbb A^N$ 。
$P：\mathbb S×A ×\mathbb S→∆(\mathbb S)$ ：对于每个时间步骤 $t∈\mathbb N$ ，给定智能体的联合动作为 $a∈\mathbb A$ ，在下一个时间步骤中从状态 $s∈\mathbb S$ 到状态 $s'∈\mathbb S$ 的转换概率。
$R^i：\mathbb S× \mathbb A× \mathbb S→\mathbb R$ ：从 $(s ， a)$ 到 $s^{'}$ 转换的第 $i$ 个智能体返回的奖励函数标量值。奖励的绝对值一致受 $R_{max}$ 为界。
$γ \in [0, 1]$ 是表示时间值的折扣系数。

当有必要区分智能体 $i$ 和所有其他 $N - 1$ 的对手时，我们使用 $^i, ·^{−i})$ (例如， $a=(a^i, a^{−i}))$ 的上标。

最终，随机博弈(SG)作为一个框架，允许在决策场景中同时从智能体进行移动。该游戏可以按顺序描述如下：在每个时间步长 $t$ 中，环境都有一个状态 $s_t$ ，并且给定 $s_t$ ，每个智能体与所有其他智能体同时执行其操作 $a^i_t$ 。所有智能体的联合行动使环境过渡到下一个状态 $s_{t+1}∼P（·|s_t，a_t）$ ；然后，环境决定了对每个智能体的即时奖励 $R^i（s_t、a_t、s_{t+1}）$