Render and Diffuse: Aligning Image and Action Spaces for Diffusion-based Behaviour Cloning

发表时间：NeurIPS 2024

论文链接：https://readpaper.com/pdf-annotate/note?pdfId=2459038643034612480&noteId=2459414853379955200

作者单位：Dyson Robot Learning Lab

Motivation：在机器人学习领域，RGB图像和低级机器人动作等高维观测之间的复杂映射构成了一个复杂的学习问题，特别是在数据量有限的情况下。

解决方法：在这项工作中，我们介绍了 Render 和 Diffuse (R&D) 一种方法，该方法使用机器人的 3D 模型的虚拟渲染将图像空间中的低级机器人动作和 RGB 观察统一起来。使用这种联合observation-action表示，它使用学习的扩散过程计算低级机器人动作，该过程迭代更新机器人的虚拟渲染。这种空间统一简化了学习问题，并引入了对样本效率和空间泛化至关重要的归纳偏差。

与其他的方法相反，我们建议在统一的观察-动作空间中使用扩散模型。该策略消除了学习单独观察和动作空间之间复杂映射的复杂性，简化了学习过程并提高其样本效率和泛化能力。

Our contributions are three-fold:

1. We propose a novel way of combining low-level actions and RGB observations within a unified image space.

2. We present a family of R&D methods<