最短探索时间的一种想法——MADDPG

前言

最近在做maddpg相关的项目时候，涉及到了一些在固定地图的场景下，采取何种探索方式，能够使在最短的时间内，探索尽可能多的地图内容，对此做了一些努力，一些朋友对此比较感兴趣，所以在此分享一下。

一、最短探索时间设计思路

设计强化学习算法，首先要明确的是性能指标，即如何将我们想要的效果、功能量化。最终通过设计几个相关的量来指导智能体训练，最终使其收敛。

1.色块探索模型设计思路

显然在短时间内，探索过的区域越多，其性能越好。按照这种思路，我们可以可以将探索轨迹可视化，即探索过的轨迹变成黑色，那么只需要统计两个时刻时间黑色色块的变化，利用这个变化，便可以指导智能体训练。这个变化越大，那么这一步的动作便越好，越小，则越不好。以上便是设计思路。

2.观测值设计

那么观测值的设计，最主要的设计就是加入了历史轨迹（本代码中是10个历史轨迹点）。显然如果智能体经过了历史轨迹，那么这一步肯定不是一个优秀的动作，因为智能体重复的探索了该区域。加入这个观测的目的是让智能体依据自己的历史轨迹，能够主动的选择不同的探索方向。

3.奖励值设计

就是在设计思路内的色块统计。统计两个时刻内的色块差值即可。

二、演示：

视频演示