offline meta RL | 论文速读记录

转载于 2025-12-07 11:00:05 发布 · 1 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://01130.hk/zh/formatc.html

文章标签：

#it

FOCAL: Efficient Fully-Offline Meta-Reinforcement Learning via Distance Metric Learning and Behavior Regularization
Unsupervised Behavior Extraction via Random Intent Priors
Offline Meta Reinforcement Learning with In-Distribution Online Adaptation

FOCAL: Efficient Fully-Offline Meta-Reinforcement Learning via Distance Metric Learning and Behavior Regularization

arxiv：https://arxiv.org/abs/2010.01112
GitHub：https://github.com/LanqingLi1993/FOCAL-latest
来源：ICLR 2021，好像是 offline meta-RL 的经典文章。

Unsupervised Behavior Extraction via Random Intent Priors

arxiv：https://arxiv.org/abs/2310.18687
来源：师兄的工作。感谢师弟的讲解。
参考博客：直接看这个好了，优快云 | 【论文阅读笔记】UBER：用随机意图从无奖励数据中提取有用行为

主要内容：

setting：我们拿到了 single-task 的没有 reward 的 offline 数据集，现在想基于这个数据集，学出来可以做相关 task 的策略。
method：直接给这个数据集标注 N 个随机 reward，然后训出来 N 个策略，最后使用 PEX 方法进行 offline-to-online。
理论（根据印象可能有幻觉）：
- Proposition 4.1 指的是，给定一个 policy，总能构造出来一个 reward，使得这个 policy 是这个 reward 下的最优 policy 之一。
- Theorem 4.2 指的是，只要目标行为在数据集中有较好的覆盖，我们就能有效地学习它。使用大小为 N 的 offline dataset，这样学出来的最好性能与 optimal policy 的差距，可以被 N bound 住。使用了 linear MDP 和 PEVI 那一套，我不懂这些理论。
- Theorem 4.3 好像指的是，UBER 使用的构造 random reward 的方法可以离 true reward 足够近，是使用岭回归（ridge regression）来证明的，岭回归我也不懂。
实验：做了 d4rl 和 metaworld。还没仔细看。搬运参考博客的内容：

结果 1：随机意图确实产生多样且高质量行为。实验显示，UBER提取的行为策略：

性能超越原始数据：特别是在原始数据质量不高时
分布更加多样：回报分布的熵值显著高于原始数据集和行为克隆方法

结果 2：在线学习加速显著。在Mujoco运动任务中，UBER相比基线方法：

学习速度更快：在相同环境步数下获得更高回报
最终性能更好：在多数任务中达到或接近专家水平

结果3：跨任务迁移能力。在 Meta-World 的多任务实验中，UBER 学到的行为策略能够成功迁移到不同的下游任务，证明了其跨任务泛化能力。可能的原因是，随机奖励产生了通用运动原语（如"接近物体"、“精确控制末端执行器”），这些原语在不同任务间可迁移。

Offline Meta Reinforcement Learning with In-Distribution Online Adaptation

arxiv：https://arxiv.org/abs/2305.19529
来源：师弟推荐的工作。感谢师弟的讲解。
参考博客：直接看这个好了，【论文阅读笔记】IDAQ：离线元强化学习中的分布内在线适应
（就算有博客，也还是看不太懂，一是不太了解 multi-task 的具体 setting，二是不太能 get 到 offline 他们讲的 distribution shift 故事…… 找时间好好学一下，可能先看看 focal