XLand-100B: A Large-Scale Multi-Task Dataset for In-Context Reinforcement Learning

本文是LLM系列文章，针对《XLand-100B: A Large-Scale Multi-Task Dataset for In-Context Reinforcement Learning》的翻译。

摘要

随着上下文内学习范式在大规模语言和计算机视觉模型中的成功，最近出现的上下文内强化学习领域正在经历快速增长。然而，由于缺乏具有挑战性的基准，它的开发受到了阻碍，因为所有实验都是在简单的环境和小规模的数据集上进行的。我们提出了XLand-100B，这是一个基于XLand-MiniGrid环境的大规模上下文强化学习数据集，作为缓解这一问题的第一步。它包含了近3万个不同任务的完整学习历史，涵盖了100B的过渡和2.5B的情节。收集数据集需要5万个GPU小时，这超出了大多数学术实验室的能力范围。除了数据集，我们还提供了进一步复制或扩展数据集的实用程序。通过这一重大努力，我们的目标是使快速发展的情境强化学习领域的研究民主化，并为进一步扩大规模提供坚实的基础。该代码是开源的，并在Apache 2.0许可证下提供，网址为https://github.com/dunno-lab/xland-minigrid-datasets.

1 引言

2 背景

3 In-Context RL的缺失

4 XLand-100B数据集

5 实验

6 局限性和未来工作

我们的工作有几个局限性，其中一些我们希望在未来的版本