强化学习—— 经验回放（Experience Replay）

1、DQN的缺点

1.1 DQN

• 近似最优动作价值函数：$$Q(s,a;W)\sim Q^{\star }(s,a)$$
• TD error:$${\delta }_t=q_t-y_t$$
• TD Learning:$$L(W)=\frac{1}{T}\sum _{t=1}^T\frac{{\delta }_t^2}{2}$$

1.2 DQN的不足

1.2.1 经验浪费

• 一个 transition为：$$(s_t,a_t,r_t,s_{t+1})$$
• 经验（所有的transition）为： { ( s 1 , a 1 , r 1 , s 2 , ) , . . . ( s t , a t , r t , s t + 1 ) , . . . , s T , a T , r T , s T + 1 } \{(s1,a1,r1,s2,),...(s_t,a_t,r_t,s_{t+1}),...,s_T,a_T,r_T,s_{T+1}\} { (s1,a1,r1,s2,),...(st​,at​,rt​,st+1​),...,s