RDT-1B: A DIFFUSION FOUNDATION MODEL FORBIMANUAL MANIPULATION

发表时间：arxiv Oct 2024

论文链接：ReadPaper

作者单位：Tsinghua University

Motivation：Bimanual manipulation is essential in robotics, yet developing foundation models is extremely challenging due to the inherent complexity of coordinating two robot arms (leading to multi-modal action distributions) and the scarcity of training data. （也是从数据稀缺的角度切入）

解决方法：RDT建立在扩散模型的基础上，有效地表示多模态，具有可扩展的Transformer的创新设计来处理多模态输入的异质性，并捕获机器人数据的非线性和高频。为了解决数据稀缺问题，我们进一步引入了一个物理可解释的统一动作空间，它可以统一各种机器人的动作表示，同时保留原始动作的物理含义，促进学习可转移的物理知识。

统一的动作空间是如何定义的？是如何促进学习可转移的物理知识的？

是一个256维度的向量。（为了进一步使在异构数据上训练 RDT，我们提出了物理可解释的统一动作空间，这是各种带有夹持器臂的机器人的统一动作格式。这种创新的格式减轻了不同机器人之间的潜在冲突，同时保留了原始动作的物理含义，这可以促进模型学习跨不同机器人数据集的可泛化物理知识。）

是当时发表的