强化学习—— Twin delay deep deterministic policy gradient(TD3算法)

1 算法原文流程

2 算法核心技巧

2.1 累计误差

$$Q_{\theta }(s_t,a_t)=r_t+\gamma \cdot E[Q_{\theta }(s_{t+1},a_{t+1})]-\delta (s_t,a_t)$$
展开后得到:
$$Q_{\theta }(s_t,a_t)=E_{s_i\sim p_{\pi },a_i\sim \pi }[\sum _{i=1}^T{\gamma }_i\cdot (r_i-{\delta }_i)]$$
所以动作价值的估计函数学习的目标是累计回报与TD error之差的期望。

2.2 clipped Double Q-learning

$$y_1=r+\gamma \cdot min$$