2025_NIPS_ReDS: Offline RL With Heteroskedastic Datasets via Support Constraints

文章总结与翻译

一、主要内容

该研究聚焦离线强化学习（Offline RL）在异方差数据集（heteroskedastic datasets）上的挑战与解决方案。离线强化学习需完全依赖静态数据集学习策略，但现实场景中的数据集常呈现状态空间内行为变异性不一致的特点（如驾驶场景中，红灯时行为统一，高速并线时行为多样）。

现有方法多采用分布约束（distribution constraints）强制学习策略贴近行为策略，却因约束强度与状态无关，在异方差数据上表现不佳——在行为多样的状态中过度保守（限制最优行为探索），在行为集中的关键状态中约束不足（可能产生危险行为）。

研究提出ReDS（Reweighting Distribution constraints to Support）方法，通过对数据分布重新加权，将分布约束转化为支持约束（support constraints），使策略能根据不同状态灵活调整与行为策略的贴近程度：在行为集中的关键状态严格遵循数据分布，在行为多样的状态自由选择最优行为（仍限于数据支持范围内）。该方法基于保守Q学习（CQL）改进，仅修改正则化形式，继承原有超参数设计，实现低侵入性优化。

实验验证显示，CQL（ReDS）在游戏、导航、像素级机器人操作等多个任务的异方差数据集上显著优于现有方法（如CQL、IQL、BEAR等），在标准非异方差数据集（D4RL）上也保持了相当性能。

二、创新点

1. 问题定位：首次明确异方差性是离线强化学习的关键挑战，提出“微分集中性”（differential con