DQN算法详解

DQN算法详解

一.概述

强化学习算法可以分为三大类：value based, policy based 和 actor critic。常见的是以DQN为代表的value based算法，这种算法中只有一个值函数网络，没有policy网络，以及以DDPG,TRPO为代表的actor-critic算法，这种算法中既有值函数网络，又有policy网络。

说到DQN中有值函数网络，这里简单介绍一下强化学习中的一个概念，叫值函数近似。一个state action pair 对应一个值函数。理论上对于任意的state action pair 我们都可以由公式求出它的值函数，即用一个查询表来表示值函数。但是当state或action的个数过多时，分别去求每一个值函数会很慢。因此我们用函数近似的方式去估计值函数。

论文：Human-level control through deep reinforcement learning | Nature
代码：https://github.com/indigoLovee/DQN

二.DL与RL结合的问题

1. DL需要大量带标签的样本进行监督学习；RL只有reward返回值，而且伴随着噪声，延迟（过了几十毫秒才返回），稀疏（很多State的reward是0）等问题；
2. DL的样本独立；RL前后state状态相关；
3. DL目标分布固定；RL的分布一直变化，比如你玩一个游戏，一个关卡和下一个关卡的状态分布是不同的，所以训练好了前一个关卡，下一个关卡又要重新训练；
4. 过往的研究表明，使用非线性网络表示值函数时出现不稳定等问题。

三.DQN解决问题方法

1. 通过Q-Learning使用reward来构造标签（对应问题1）
2. 通过experience replay（经验池）的方法来解决相关性及非静态分布问题（对应问题2、3）
3. 使用一个CNN（MainNet）产生当前Q值，使用另外一个CNN（Target）产生Target Q值（对应问题4）

1、构造标签

前面提到DQN中的CNN作用是对在高维且连续状态下的Q-Table做函数拟合，而对于函数优化问题，监督学习的一般方法是先确定Loss Function，然后求梯度，使用随机梯度下降等方法更新参数。DQN则基于Q-Learning来确定Loss Function。

Q-Learning的更新公式：

DQN的Loss Function为:

其中 θ是网络参数，目标为:

显然Loss Function是基于Q-Learning更新公式的第二项确定的，两个公式意义相同，都是使当前的Q值逼近Target Q值。

2、经验池（experience replay）

经验池的功能主要是解决相关性及非静态分布问题。具体做法是把每个时间步agent与环境交互得到的转移样本储存到回放记忆单元，要训练时就随机拿出一些（minibatch）来训练。（其实就是将游戏的过程打成碎片存储，训练时随机抽取就避免了相关性问题）

3、目标网络

在Nature 2015版本的DQN中提出了这个改进，使用另一个网络（这里称为TargetNet）产生Target Q值。具体地，Q(s,a;θi)表示当前网络MainNet的输出，用来评估当前状态动作对的值函数；Q(s,a;θ−i)表示TargetNet的输出，代入上面求 TargetQ值的公式中得到目标Q值。根据上面的Loss Function更新MainNet的参数，每经过N轮迭代，将MainNet的参数复制给TargetNet。

引入TargetNet后，再一段时间里目标Q值使保持不变的，一定程度降低了当前Q值和目标Q值的相关性，提高了算法稳定性。

4.模型构建

DQN算法流程：

1. 初始化经验池，随机初始化Q网络，初始化target Q网络，其参数与Q网络参数相同；
2. repeat
   1. 重置环境，获得第一个状态；
   2. repeat
      1. 用$ϵ$-greedy策略生成一个action：其中有$ϵ$的概率会随机选择一个action，即为探索模式；其他情况下，$a_t=ma{x}_{a}Q(s_t,a;\theta )$, 选择在$s_t$状态下使得Q最大的action，即为经验模式；
      2. 根据动作与环境的交互，获得反馈的reward $r_t$、下一个状态$s_{t+1}$和是否触发终止条件done;
      3. 将经验 $s_t,a_t,r_t,s_{t+1},done$ 存入经验池；
      4. 从经验池中随机获取一个minibatch的经验；
      5. $Qtarge{t}_t=\{\begin{array}{}\end{array}$