Behavior Retrieval: Few-Shot Imitation Learning by Querying Unlabeled Datasets

发表时间：13 May 2023

论文链接：https://readpaper.com/pdf-annotate/note?pdfId=1900983943467731200&noteId=2446646993511259136

作者单位：Stanford University

Motivation：使机器人能够以数据有效的方式学习新的视觉运动技能仍然是一个未解决的问题，有无数的挑战。解决这个问题的一种流行范式是利用大量未标记的数据集，这些数据集在其中具有许多行为，然后使用少量特定于任务的人工监督（即干预或演示）将策略适应特定任务。然而，如何最好地利用少量的的特定于任务的监督并将其与离线数据平衡仍然是一个悬而未决的问题。

解决方法：我们对这项工作的关键见解是，特定于任务的数据不仅为agent提供了新的数据进行训练，而且还可以为agent应该用于学习的先验数据类型提供信息。具体来说，我们提出了一种简单的方法，该方法使用少量下游专家数据从离线、未标记的数据集（包括许多次优行为）中选择性地查询相关行为。然后agent在专家（特定于任务的）和查询到的数据上联合训练。我们观察到我们的方法学习仅查询到与任务相关的转换，过滤掉次优或与任务无关的数据。通过这样做，与näıvely混合数据或仅使用特定于任务的数据相比，它能够更有效地从任务特定和离线数据的混合中学习。

实现方式：3 main steps：(A) 使用未标记的离线数据 Dprior，我