斯坦福大学联合项目 | ReKep 方法论文解读：机器人操作中关系关键点约束的时空推理

研究背景

传统机器人操作任务中，让机器人完成各种操作任务，通常需要明确它和周围环境的互动规则，缺乏扩展性，难以通过现有求解器实时生成动作。

为了解决这些问题，研究团队提出了“关系关键点约束（ReKep）” 方法。用Franka机械臂实验验证其有效性，为机器人灵活操作提供新思路，推动技术进步。

ReKep概述：先用DINOv2从摄像头拍摄的图像里，找出场景中重要的关键点（比如物体的关键部位）；再把带这些关键点的图像和任务指令（比如 “倒茶”）传给GPT-4o，让它生成一系列Python程序形式的约束规则，规定不同步骤中关键点该有的位置关系；最后用优化工具根据这些规则，算出机器人末端该怎么动。整个过程不用额外训练，也不用针对具体任务准备数据。

研究中的核心方法

将操作任务表示为基于 3D 关键点的 Python 函数约束，通过大型视觉模型和视觉 - 语言模型自动生成约束，再利用分层优化程序实时求解机器人末端执行器位姿，实现多场景操作任务。

图解：把机器人要做的事，转化成一系列关于“关键点”（比如茶壶把手、杯口这些重要位置）的规则，再让模型自动生成这些规则，最后快速算出机器人的动作。这样一来，机器人不用专门学某个任务，也能在各种场景下灵活干活，比如在厨房倒茶、和人一起折毯子，甚至被打扰了也能调整动作。

实验涉及的硬件设备与环境

实验基于两种硬件平台，核心设备如下：