强化学习—— 离散与连续动作空间（随机策略梯度与确定策略梯度）

1. 动作空间

1.1 离散动作空间

• 比如: { l e f t , r i g h t , u p } \{left,right,up\} { left,right,up}
• DQN可以用于离散的动作空间（策略网络）
• 

1.2 连续动作空间

• 比如：$A=[0^{\circ }，180^{\circ }]\ast [0^{\circ },360^{\circ }]$
  
• 连续动作空间的两种处理方式：

1. 离散化（discretization）：比如机械臂进行二维网格划分。假设d为连续动作空间的自由度，动作离散化后的数量会随着d的增加呈现指数增长，从而造成维度灾难。
2. 使用确定策略梯度。
3. 使用随机策略梯度。

2. 确定策略梯度做连续控制

• 动作空间为$R^d$的一个子集

2.1 确定策略梯度推导

• 确定策略网络：$$a=\pi (s;\theta )$$
• 价值网络(输出为一个标量)：$$q(s,a;W)$$
  网络学习过程为：

1. 观测到一个transition：$(s_t,a_t,r_t,s_{t+1})$
2. 计算t时刻价值网络的函数值:$$q_t=q(s_t,a_t;W)$$
3. 计算t+1时刻价值网络的函数值：$$\begin{gathered} a_{t+1}^{-}=\pi (s_{t+1};\theta ) \\ {q}_{t+1}=q(s_{t+1},a_{t+1}^{-};W) \end{gathered}$$
4. TD Error为：${\delta }_t=q_t-(r_t+\gamma \cdot q_{t+1})$
5. 更新价值网络：$$W\leftarrow W-\alpha \cdot \frac{\partial q(s_t,a_t;W)}{\partial W}$$
6. 更新策略网络所需的策略梯度推导：$$\begin{gathered} 策略网络的目标为通过策略网络a=\pi (s;\theta ) \\ 做出的决策可以增加价值网络q=q(s,a;W)的值。 \\ 因此确定策略梯度（deterministicpolicygradient，DPG）为： \\ g=\frac{\partial q(s,\pi (s;\theta );W)}{\partial \theta }=\frac{\partial q(s.\pi (s;\theta );W)}{\partial \pi (s;\theta )}\cdot \frac{\partial \pi (s;\theta )}{\partial \theta } \end{gathered}$$
7. 依据确定策略梯度进行策略网络参数更新：$$\begin{gathered} g=\frac{\partial q(s,\pi (s;\theta );W)}{\partial \theta }=\frac{\partial q(s.\pi (s;\theta );W)}{\partial \pi (s;\theta )}\cdot \frac{\partial \pi (s;\theta )}{\partial \theta } \\ \theta \leftarrow \theta +\beta \cdot g \end{gathered}$$

2.2 确定策略梯度网络的改进

2.2.1 使用Target网络

Bootstrapping现象：

• TD Target为：${\delta }_t$