2025_NIPS_Budgeting Counterfactual for Offline RL

文章总结与翻译

一、主要内容

该文章聚焦离线强化学习（Offline RL）的核心挑战——数据有限导致的外推误差（随问题时域呈指数累积），提出了一种名为BCOL（Budgeting Counterfactual for Offline RL） 的新型算法。

核心背景

离线强化学习依赖固定数据集学习策略，无法与环境交互补充样本，导致目标策略与行为策略（采集数据的策略）可能存在差异，引发分布外动作的外推误差；现有方法多通过对策略或价值函数进行正则化约束来缓解该问题，但存在均匀惩罚、灵活性不足等局限。

核心思路

1. 关键洞察：并非所有决策步骤对最终结果的影响同等重要，无需在每一步都考虑与行为策略不同的反事实决策。
2. 算法核心：引入“反事实预算（B）”，限制策略与行为策略偏离的决策步数，通过动态规划智能分配预算——仅在对结果影响关键的步骤进行反事实决策，平衡分布外动作的潜在收益与外推风险。
3. 理论支撑：提出反事实预算贝尔曼算子（TCB\mathcal{T}_{CB}