ReKep: Spatio-Temporal Reasoning of Relational Keypoint Constraints for Robotic Manipulation

发表时间：CORL 2024 （Best paper）

论文链接：https://readpaper.com/pdf-annotate/note?pdfId=2476642985732261376&noteId=2480092969164874752

作者单位：Stanford University（Li Fei-Fei）

Motivation：将机器人操作任务表示为关联机器人和环境的约束，是编码所需机器人行为的一种有前途的方法。然而，目前尚不清楚如何制定约束，使它们 1) 适用于不同的任务，2) 无需手动标记，以及 3) 由现成的求解器可实时生成机器人动作。

解决方法：具体来说，ReKep 表示为 Python 函数，将环境中的一组 3D 关键点映射到数值成本。我们证明了通过将操作任务表示为一系列关系关键点约束，我们可以使用分层优化过程来解决机器人动作（由 SE(3) 中的末端执行器姿势序列表示），并以实时频率感知-动作循环。

在机器人学中，SE(3) 常用于描述机器人的末端执行器（如机械臂的末端）的运动。末端执行器的姿势序列可以由一系列 SE(3) 变换矩阵表示，这些变换矩阵描述了末端执行器在不同时间点的位置和方向。（即SE3是末端位姿）

我们的贡献总结如下：

1）我们将操作任务制定为具有关系关键点约束的分层优化问题；

2）我们设计了一个管道，使用大型视觉模型和视觉语言模型自动指定关键点和约束；

3）我们在两个真实机器人平台上展示了系统实现，该平台