O2O:Offline–Online Actor–Critic

IEEE TAI 2024
paper

1 Introduction

一篇offline to online 的文章，有效解决迁移过程出现的performance drop。所提出的O2AC算法首先在离线阶段添加一项BC惩罚项，用于限制策略靠近专家策略；而在在线微调阶段，通过动态调整BC的权重，缓解performance drop。

2 Method

2.1 offline

离线阶段，采用BC结合确定性策略优化方法。最大化下列损失函数：
$$J_{\mathrm{offine}}(\mathbf{\theta })={\mathbb{E}}_{(\mathbf{s},\mathbf{a})\sim \mathcal{B}}\left[\zeta Q_{\mathbf{\varphi }}(\mathbf{s},{\pi }_{\mathbf{\theta }}(\mathbf{s}))-{\Vert {\pi }_{\mathbf{\theta }}(\mathbf{s})-\mathbf{a}\Vert }^2\right]$$