Prioritized Experience-based Reinforcement Learning with Human Guidance for Autonomous Driving

TNNLS 2022
paper
code
Human-guided off-policy RL 应用在自动驾驶，其中RL采用的TD3。方法主要由三部分构成：

1. 利用人类专家演示数据，在策略优化过程中通过BC正则的形式，实现策略优化的引导
   $$\begin{array}{rl}{\mathcal{L}}^{\pi }(\varphi )& =\frac{1}{N_1}\sum _i^{N_1}[-Q({\mathbf{s}}_i,\pi (\cdot |{\mathbf{s}}_i;\varphi );\theta )]+\frac{1}{N_2}\sum _j^{N_2}[\omega \cdot \Vert {\mathbf{a}}_j^H-\pi (\cdot |{\mathbf{s}}_j;\varphi ){\Vert }_2^2],\\ {\mathcal{L}}^Q(\theta )=& \frac{1}{N_1}\sum _i^{N_1}\Vert r_i+\gamma Q({\mathbf{s}}_{i+1},\pi (\cdot |{\mathbf{s}}_{i+1});\theta )-Q({\mathbf{s}}_i,{\mathbf{a}}_i^{RL};\theta ){\Vert }_2^2\\ & +\frac{1}{N_2}\sum _j^{N_2}\Vert r_j+\gamma Q({\mathbf{s}}_{j+1},\pi (\cdot |{\mathbf{s}}_{j+1});\theta )-Q({\mathbf{s}}_j,{\mathbf{a}}_j^H;\theta ){\Vert }_2^2.\end{array}$$

2. 在原有的PER的采样模式下，额外添加一项基于Q值的残差项，将人类演示引入,使得那些TD-errro大且远离演示的样本越容易被采样优化：
   $${\mathbf{p}}_i\triangleq |{\delta }_i^{TD}|+\epsilon +\exp \left[Q({\mathbf{s}}_i,{\mathbf{a}}_i^H;\theta )-Q({\mathbf{s}}_i,\pi (\cdot |{\mathbf{s}}_i);\theta )\right],(13$$
   Buffer中样本分布表示为：
   $${\mathbf{p}}_{{\mathcal{I}}^{\prime }}(i)=\frac{{\mathbf{p}}_i^{\alpha }}{{\sum }_k{\mathbf{p}}_k^{\alpha }}.$$
   为避免优先机制导致Q值估计偏差，对样本采用如下的采样权重：
   $$w_{IS}(i)={\left[{\mathbf{p}}_{{\mathcal{I}}^{\prime }}(i)\right]}^{-\beta }.$$

3. 人类干预下的reward-shaping，只有在第一次干预下才会进行，若连续干预，则除去第一次均不进行shaping.
   $$r_t^{\mathrm{shape}}=r_t+r_{\mathrm{pen}}[({\Delta }_t={\mathbf{I}}^{\dim (\mathcal{A})}\wedge ({\Delta }_{t-1}=0^{\dim (\mathcal{A})})]$$