30、多智能体强化学习与专家指导：原理、挑战与解决方案

多智能体强化学习与专家指导：原理、挑战与解决方案

1. 集中学习与分散执行

将强化学习（RL）的改进与集中学习的样本效率相结合，取得了一些新的成果。其中，多智能体深度确定性策略梯度（MADDPG）算法将DDPG与集中学习、分散执行的方法相结合而闻名。

DDPG（或TD3/PPO等）为智能体在无环境模型的情况下学习策略提供了基础。策略梯度算法为组合多个智能体的梯度提供了理论基础，而值方法中的全局动作值函数可能无法代表局部情况。在训练时采用集中学习方法可以提高样本效率并加速学习，而在评估时，智能体使用独立的策略和局部观察。

其主要动机在于，如果知道所有智能体的动作，就有可能预测或跟踪环境的变化。就像在量子力学中，如果知道宇宙中所有原子的状态和动作，就能预测未来（或过去）。

为了计算单个智能体策略的值，需要知道该智能体策略的结果以及环境中预测的值。但环境会受到其他所有智能体的影响，因此需要提供其他所有智能体的动作信息。从单个智能体的角度来看，多智能体演员 - 评论家算法的公式如下：
- 单智能体演员 - 评论家：∇θJ θ = �πθ ∇θ ln πθ a ∣s Qw s, a
- 多智能体演员 - 评论家：∇θJ θ = �πθ ∇θ ln πθ a ∣s Qw s, a1, a2, ⋯, aN

这就引出了可以有局部、独立的演员，但有集中的评论家的想法。有趣的是，由于每个智能体都学习了演员和评论家，智能体可以有不同的策略和奖励，这意味着该算法在合作和竞争环境中都适用。

大多数演员 - 评论家算法需要策略来生成下一个动作以训练动作值函数。一种简单的解决方案是让每个智能体将策略或所有下一个动作（取决于算法）传