08MARL深度强化学习——模型种类

---

前言

在RL学习的章节当中，学习了tubular的方法，其受限于只能更新访问过的状态价值，因此其并不能推断出未访问状态的价值导致算法并不能有效的评估所有状态的价值，因此我们能够训练一个神经网络来近似巨大的输入状态空间，深度强化学习就是训练一个参数化的价值函数或策略用于RL当中，后续学习是将深度强化学习应用到MARL当中，解决更加复杂的任务

---

1、训练与执行的模型

MARL算法能够根据训练与执行阶段利用的信息进行分类，在训练阶段每个智能体是局部可观测的，称为去中心化训练；在训练阶段能够利用所有智能体的信息，称为中心化训练；在执行阶段利用历史的局部观测，称为去中心化执行；在执行阶段利用所有智能体的全部信息，称为中心化执行

2、Centralised Training and Execution

中心化学习与执行的方法：在训练与执行阶段使用全局共享的信息，这些信息包括局部观测历史、价值函数、学习的世界模型等等，在此类方法中，明显与POSG环境相悖，因此智能体并不局限于局部可观测的信息，因此此类方法可以考虑为具有特权信息，能够获取其他智能体的全部信息

2.1 Example——central learning

中心化学习的算法便是基于此类方法的例子，中心化学习通过使用联合的历史观测序列训练一个中心化的策略将多智能体问题转化为单智能体问题

2.2 局限性