Cross Q: Batch Normalization in Deep Reinforcement Learning for Greater Sample Efficiency and...

ICLR 2024 spotlight
paper

Introduction

提高智能体Sample efficiency是强化学习关键问题。REDQ以及DroQ通过提高UTD有效实现。本文提出的Cross Q利用Batch Normalization以及移除target Q的设定，结合SAC进一步提升算法的sample efficiency，在UTD=1也能达到SOTA表现。

Method

REMOVING TARGET NETWORKS

SAC中使用target Q并延迟soft update，虽然稳定更新但在一定程度减缓更新。本文通过实验指出，相较于以往的Q网络利用relu激活函数，移除targetQ并使用有界激活函数(Tanh)或特征归一化器(Batch Normalization)足以防止在没有目标网络的情况下的临界发散。

移除target Q后的，基于均方Bellman误差对Q进行跟新的损失函数，对比以往的方法如下

此时Q网络的输入为连续的两个状态及其动作，特别的$A_{t+1}\sim {\pi }_{\varphi }(S_{t+1})$。

BN

移除target Q后，加入Batch Normaliztion有利于训练的稳定。文章解释原始的均方bellman误差中，目标Q的动作是来自于当前策略，而Q(s,a)则是old行为策略。在softupdate 的过程中，BN层的参数也是被soft update。基于(s,a)得到的BN统计信息，在面对未曾见过的(s’，$\pi (s^{\prime })$)统计信息不匹配，造成target Q预测out-of-distribution。移除target并将Q的输入扩张成s与s’, 有效防止BN对s’的错误感知。

WIDER CRITIC NETWORKS

增加Q网络的宽度，可以有效提高算法效率[1]。实验证明，单纯基于SAC增加网络宽度，没有明显效果提升。本文方法则是可以将宽度增加到2048取得SOTA，即使增加到256(small)也有一定竞争力。除了宽度，还调整来了一些其他超参数，进一步提高方法效率。

总结

Tanh + BN - $Q_{target}$ + Wide Critic+SAC在UTD=1以及no-ensemble的设置下达到SOTA。