Deep Deterministic Policy Gradient

$\pi :\mathcal{S}\to \mathcal{P}(\mathcal{A})$

$a_t\in \mathcal{A}=R^N$

$\mathcal{S}$ : state space

$p(s_{t+1}|s_t,a_t)$

$r(s_t,a_t)$

$R_t={\sum }_{i=t}^T{\gamma }^{(i-t)}r(s_i,a_i)$

Discounted future reward形式的定义 + 递归形式的计算方式

Bellman Equation

$Q^{\mu }(s_t,a_t)=E_{r_t,s_{t+1}\sim E}[r(s_t,a_t)+\gamma Q^{\pi }(s_{t+1},\mu (s_{t+1}))]$

Q函数的训练目标：

$Loss({\theta }^Q)=E_{s_t\sim {\rho }^{\beta },a_t\sim \beta ,r_t\sim E}[(Q(s_t,a_t|{\theta }^Q)-y_t{)}^2]$

$y_t=r(s_t,a_t)+\gamma Q(s_{t+1},\mu (s_{t+1})|{\theta }^Q)$

线上采用greedy的方式使用Q函数

不太使用户连续动作空间

actor funciton : $\mu (s|{\theta }^{\mu })$

critic fucntion : $Q(s,a)$

更新中…