Offline: (A2PR)Adaptive Advantage-Guided Policy Regularization for Offline Reinforcement Learning

ICML 2024
paper
code

Intro

离线强化学习中基于policy constraint的方法(TD3+BC)存在的问题是:无法选择性的对样本进行合适的约束。当数据集质量较低时,这种问题尤为明显。因此,本文基于TD3+BC,提出通过优势函数值自适应的选择合适的动作实现BC正则。

Method

policy improvemen

采用最大化Q值结合BC正则的形式对策略优化
在这里插入图片描述
其中,如何选择 a ˉ \bar{a} aˉ是本文的重点。文章采用优势函数值判断:
在这里插入图片描述
在这里插入图片描述
这里的 π ^ \hat{\pi} π^是通过VAE训练得到的,并且通过一个指示函数加权限制了由VAE重构的动作质量(具备更高的优势值)。
在这里插入图片描述

police evaluation

采用TD3中双Q网络,并最小化bellman均方误差更新Q
在这里插入图片描述
在这里插入图片描述
优势函数则表示为
在这里插入图片描述
智能体根据优势函数值采取更优越的行动,减轻因不必要的policy constraint而产生的次优或低回报行为所带来的过度悲观估计。

伪代码

在这里插入图片描述

Results

在这里插入图片描述

理论

理论方面首先给予一个假设:Q值以及状态转移函数符合李普希兹连续。一个重要结果就是证明利用基于优势函数值加权的VAE重构的动作,可以推导出一个策略表现上的tighter的upper bound
在这里插入图片描述
说明方法可以有效缩小目标策略与最优策略之间的性能差距。通过有选择地关注高优势值的样本,不仅提高了行为策略的质量,还有助于获得更高效的优化结果。
(更详细的证明见原文)

summary

选择合适的样本进行policy constraint可以提升策略优化的质量。本文提出的优势函数值判断是一个成功的实现方案。考虑推广到O2O以及LfD的设定下,基于优势函数值选择样本避免performance drop并提高在线的sample efficiency。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值