强化学习原理python篇06——DQN

本章全篇参考赵世钰老师的教材 Mathmatical-Foundation-of-Reinforcement-Learning Deep Q-learning 章节，请各位结合阅读，本合集只专注于数学概念的代码实现。

DQN 算法

1）使用随机权重$（w\leftarrow 1.0）$初始化目标网络$Q(s,a,w)$和网络$\hat{Q}(s,a,w)$，$Q$和$\hat{Q}$相同，清空回放缓冲区。

2）以概率ε选择一个随机动作a，否则 $a=argmaxQ(s,a,w)$。

3）在模拟器中执行动作a，观察奖励r和下一个状态s’。

4）将转移过程(s, a, r, s’)存储在回放缓冲区中。

5）从回放缓冲区中采样一个随机的小批量转移过程。

6）对于回放缓冲区中的每个转移过程，如果片段在此步结束，则计算目标$y=r$，否则计算 y