2025_NIPS_Importance Weighted Actor-Critic for Optimal Conservative Offline Reinforcement Learning

文章总结与翻译

一、主要内容

本文针对离线强化学习（RL）中复杂环境下数据覆盖不足的问题，提出了一种名为A-Crab（Actor-Critic Regularized by Average Bellman error）的实用算法。该算法融合了边际化重要性采样框架与演员-评论家范式，核心是让评论家对演员（策略）的评估相对于离线数据呈悲观态度，且具有较小的平均（重要性加权）贝尔曼误差。

文章围绕A-Crab展开了全面的理论分析与实验验证：在理论层面，证明了算法在收敛到离线数据中覆盖的最优策略时，能达到$1/\sqrt{}$