强化学习-APEX-分布式优先经验回放DISTRIBUTED PRIORITIZED EXPERIENCE REPLAY-强化replaymemory方法

这是一篇论文，https://arxiv.org/abs/1803.00933

其概念主要是对传统DQN ,DDPG使用分布式actor获取replay memory数据并进行优先经验回放方法，从而使强化学习网络训练得更有效率（现在强化学习NN训练难度确实很高，效率低，所以要尽可能提升效率，所以这篇文章还是有帮助的），作者主要以atari训练实验来证明其方法的优越性。（毕竟并行化获取经验）

主要架构如下

有多个actor，每隔一段时间同时从learner那获取actor和critic参数（从而更好决策），使用的greedy ε 探索参数不同(实验得出这样更好)，然后在环境中act 并获得TD error(就是往后看n步)（见后文），计算经验优先级（见后文），存入replay中。然后每隔一段时间learning去取batch数据，更新网络参数，并根据经验新的“惊艳度”td-error更新经验优先值。

作者运用这个架构在dqn和ddpg上的实验效果明显，另外发现在增加不同探索参数actor总 数目的情况下，探索效率呈正比提升，而每个时间t内，收集的replay memory 单位大小选取2百万和2.5百万效果差距不大。