李飞飞团队发布ReKep:机器人“空间智能”获突破性进展,整合GPT-4o

ReKep: Spatio-Temporal Reasoning of Relational Keypoint Constraints for Robotic Manipulation 将机器人操作任务表示为关联机器人和环境的约束是编码所需机器人行为的一种有前途的方法。然而,目前尚不清楚如何制定约束条件,使其 1) 能够适应不同的任务,2) 无需手动标记,3) 可通过现成的求解器进行优化以实时产生机器人动作。在这项工作中,我们引入了关系关键点约束( Relational Keypoint Constrains: ReKep),这是一种基于视觉的机器人操作约束表示。具体来说,ReKep 表示为将环境中的一组 3D 关键点映射到数值成本的 Python 函数。 阅读详情

视觉与机器人学习的深度融合。

当两只机器手丝滑地互相合作叠衣服、倒茶、将鞋子打包时,加上最近老上头条的 1X 人形机器人 NEO,你可能会产生一种感觉:我们似乎开始进入机器人时代了。

事实上,这些丝滑动作正是先进机器人技术 + 精妙框架设计 + 多模态大模型的产物。

我们知道,有用的机器人往往需要与环境进行复杂精妙的交互,而环境则可被表示成空间域和时间域上的约束。

举个例子,如果要让机器人倒茶,那么机器人首先需要抓住茶壶手柄并使之保持直立,不泼洒出茶水,然后平稳移动,一直到让壶口与杯口对齐,之后以一定角度倾斜茶壶。这里,约束条件不仅包含中间目标(如对齐壶口与杯口),还包括过渡状态(如保持茶壶直立);它们共同决定了机器人相对于环境的动作的空间、时间和其它组合要求。

然而,现实世界纷繁复杂,如何构建这些约束是一个极具挑战性的问题。

近日,李飞飞团队在这一研究方向取得了一个突破,提出了关系关键点约束(ReKep/Relational Keypoint Constraints)。简单来说,该方法就是将任务表示成一个关系关键点序列。并且,这套框架还能很好地与 GPT-4o 等多模态大模型很好地整合。从演示视频来看,这种方法的表现相当不错。该团队也已发布相关代码。本文一作为 Wenlong Huang。

论文标题:ReKep: Spatio-Temporal Reasoning of Relational Keypoint Constraints for Robotic Manipulation

项目网站:https://rekep-robot.github.io

不方便下载的我已打包好,还准备了一份研究生及SCI论文攻略包

李飞飞表示,该工作展示了视觉与机器人学习的更深层次融合!虽然论文中没有提及李飞飞在今年 5 年初创立的专注空间智能的 AI 公司 World Labs,但 ReKep 显然在空间智能方面大有潜力。

以下是对原文内容的重点罗列:

  1. 机器人操作涉及与环境中物体复杂的交互,这些交互可以表现为空间和时间领域的约束。
  2. 以倒茶入杯为例,机器人需要抓握把手、保持杯子直立、对准壶嘴和目标容器,然后以正确角度倾斜杯子进行倒茶。
  3. 约束不仅包括中间子目标(如对准壶嘴),还包括过渡行为(如运输过程中保持杯子直立),这些共同决定了机器人行动的空间、时间和组合要求。
  4. 为现实世界中的多样化任务有效制定这些约束存在挑战。
  5. 使用机器人与物体之间相对姿态表示约束是一种直接且常用的方法,但这种方法不能描述几何细节,需要预先获取物体模型,且不适用于可变形物体。
  6. 数据驱动方法可以在视觉空间中直接学习约束,但如何有效收集随着物体和任务数量组合增长的数据尚不清楚。
  7. 提出的问题是:如何表示广泛适用、可扩展获取、实时优化的操作约束。
  8. 提出了关系关键点约束(ReKep),将约束表示为将一组关键点映射到数值成本的Python函数,每个关键点是场景中与任务相关的、有语义意义的三维点。
  9. 每个函数由关键点上的(可能是非线性的)算术运算组成,并编码了它们之间的所需“关系”,关键点可能属于环境中的不同实体,如机器人手臂、物体部分和其他代理。
  10. 通过在关键点间强制实施刚性,多个关键点可以集体指定线条、表面和/或三维旋转。
  11. 研究了ReKep在顺序操作问题中的应用,其中每个任务涉及具有空间和时间依赖性的多个阶段。
  12. 通常,约束是手动定义的,但ReKep具有自动化优势,可以通过预训练的大视觉模型(LVM)和视觉语言模型(VLM)实现。
  13. 利用LVM提出场景中细粒度且语义上有意义的关键点,利用VLM将约束编写为Python函数,从RGB-D观察和自由形式的语言指令中指定ReKep。

以下是所提供内容的重点概述:

  1. 什么是关系关键点约束(Relational Keypoint Constraints,ReKep):这部分讨论了ReKep的定义,它是一种用于表示机器人操作任务中关键点之间空间关系的方法。

  2. 如何使用ReKep将操作表述为一个带约束的优化问题:这部分介绍了如何将机器人操作过程中的约束条件整合到优化问题中,通过ReKep定义目标关键点关系和路径约束。

  3. 我们的算法实例能够实时解决优化问题:此处提到了一种算法实现,它能够实时解决上述定义的优化问题,从而指导机器人的动作。

  4. 如何从RGB-D观测和语言指令中自动获取ReKep:这部分解释了如何使用DINOv2算法从观测到的场景中提出关键点候选,并使用GPT-4o生成描述不同任务阶段关键点关系的ReKep约束。

 以下是一些具体细节:

  • ReKep是一个函数,它将一组关键点映射到一个无界的代价上,如果函数值小于等于0,则表示约束被满足。
  • 一个操作任务通常包含多个阶段,每个阶段可能涉及不同的空间关系。为此,任务被分解为N个阶段,每个阶段使用ReKep指定子目标约束和路径约束。
  • 以倒茶任务为例,分为抓握、对齐和倒茶三个阶段,每个阶段都有相应的子目标约束和路径约束。
  • 优化问题被表述为最小化一个涉及机器人末端执行器姿态的代价函数,该代价函数受ReKep定义的约束条件限制。

以下是文章内容的重点摘要: 

  1. 提出了关系关键点约束(ReKep),一种使用约束的结构任务表示方法,通过操作语义关键点来指定机器人臂、物体(部分)和环境中的其他智能体之间的期望关系。
  2. 结合点跟踪器,证明了ReKep约束可以在分层优化框架中重复且高效地解决,充当以实时频率运行的闭环策略。
  3. ReKep的一个独特优势是它可以由大型视觉模型和视觉-语言模型自动合成。
  4. 在两个机器人平台上展示了结果,涉及多阶段、野外、双臂和反应性行为的各种任务,且没有任务特定数据、额外训练或环境模型。
  5. 尽管有这些优势,但仍然存在一些限制:
  • 优化框架依赖于基于刚度假设的关键点前向模型,尽管有高频反馈循环来放宽模型的准确性要求。
  • ReKep依赖于准确的点跟踪来正确地在闭环中优化动作,而这本身是一个具有挑战性的3D视觉任务,因为存在严重的间歇性遮挡。
  • 当前公式假设每个任务有一个固定的阶段序列(即骨骼),使用不同的骨骼进行重新规划需要以高频运行关键点提议和VLM,这带来了相当大的计算挑战。
  1. 文章详细讨论了算法的实现步骤,包括子目标问题求解、路径问题求解、执行动作等。
  2. 一个实验平台是一个安装在带轮子底座上的Franka臂,底座没有电机,不能自主移动,但允许在实验室环境之外测试提出的方法。
  3. 实验中使用位置控制,固定频率为20Hz,通过逆运动学计算目标关节位置,并使用关节阻抗控制器达到目标关节位置。
  4. 机器人配备了两个RGB-D相机,以固定频率捕捉RGB图像和点云。
  5. 另一个实验平台是一个固定双臂平台,由两个Franka臂组成,同时控制两个臂以20Hz的频率运行,解决两个6-DoF末端执行器姿态序列的问题。

 【要点】:本文提出了一种新的机器人操作任务表示方法Relational Keypoint Constraints(ReKep),通过将任务表达为一系列视觉基础的约束关系,实现了无需手动标注和实时优化机器人行为的能力。

【方法】:ReKep使用Python函数将环境中的3D关键点映射到数值成本,并通过层级优化过程来求解机器人行为。

【实验】:研究者在带有轮子的单臂平台和固定的双臂平台上实现了ReKep系统,展示了该系统能够完成多种复杂的操作任务,如多阶段、野外、双手操作和反应性行为,且无需特定任务数据或环境模型。具体的数据集名称在论文中未明确提及。

 

 

ReKep——李飞飞团队提出的让机器人具备空间智能:基于VLM模型GPT-4o和关系关键点约束(含源码解析) 由于工厂、车厂的任务需求场景非常明确,加之自今年年初以来,我司在机器人这个方向的持续大力度投入(包括南京、长沙两地机器人开发团队的先后组建),使得近期我司七月接到了不少来自车厂/工厂的订单,比如其中的三个例子:柔性上料、物料分拣、RL仿真平台搭建也让我们越来越坚定在机器人方向发力具身智能和工业协作机器人,且细分为如下三大场景初级,面向教学场景,即高校实验室的具身「教学机器人」,及给青年少年小孩的「教育机器人」 阅读详情

相关推荐

团队管理中最棘手的6个问题

研发团队的管理棘手问题,大多集中在。

xiaolyuh的专栏 756

ReKep:基于关键点的机器人操作时空推理新范式

ReKep技术在机器人操控领域的实验结果表明,通过结合先进的视觉和语言模型,可以有效地将自然语言指令转化为机器人的动作序列。这一技术在多个复杂的操控任务中展现了较高的成功率,包括多阶段任务、in the wild任务、双手协调任务和反应性任务。实验结果验证了ReKep在自动化操控行为、泛化能力以及反应性行为方面的有效性。

zhaoliang的博客 2261

Maxwell涡流热损计算:铜导体在50Hz交流下的仿真实践

本文详细介绍了使用Maxwell软件进行铜导体在50Hz交流条件下的涡流热损仿真实践。从涡流热损的基本概念到Maxwell仿真设置、网格划分、结果后处理等关键步骤,提供了实用技巧和常见问题解决方案,帮助工程师准确计算涡流热损,优化电力设备设计。

weixin_42526015的博客 391

论文速读|ReKep:空间时间理论的关系关键点约束,用于机器人操作

本研究展示了如何将一个多阶段的操作任务分解为一系列的关键点约束,并通过层次化的优化过程来解决机器人的动作(以一系列的端效器姿态表示),实现了实时的感知 - 行动循环。为了避免为每个新任务手动指定 ReKep,研究团队开发了一种自动化流程,利用大型视觉模型和视觉语言模型来产生 ReKep,这些模型能够从自由形式的语言指令和 RGB-D 观测中提取关键点,并编写约束函数。研究团队在两种不同的机器人平台上实现了系统,并进行了多种任务的实验,包括单臂和双臂机器人的多阶段、在野外、双手协作以及反应性行为的操作任务。

2301_81924597的博客 2883

Halcon VariableInspect (变量检查拓展)安装指南

网址2;

T 967

多传感器融合SLAM指南:如何结合视觉与激光雷达提升建图精度

本文深入探讨了多传感器融合SLAM技术,详细解析了如何将视觉传感器与激光雷达(特别是3D激光雷达)进行深度融合以提升建图精度与鲁棒性。文章从传感器特性分析、数据同步标定、前端融合策略(松耦合与紧耦合)到后端优化与地图构建,提供了完整的实战指南,并重点介绍了V-LOAM等经典融合框架的核心思想,旨在帮助开发者构建适应复杂动态环境的高精度SLAM系统。

weixin_29056145的博客 539

李飞飞团队提出ReKep,让机器人具备空间智能,还能整合GPT-4o

该团队将函数 𝑓 实现为了一个无状态 Python 函数,其中包含对关键点的 NumPy 操作,这些操作可能是非线性的和非凸的。具体来说,给定末端执行器姿势 ∆𝒆 的变化,通过应用相同的相对刚性变换 𝒌′[grasped] = T_{∆𝒆}・𝒌[grasped] 来计算关键点位置的变化,同时假设其它关键点保持静止。也就是说,对于每个阶段 i,该优化问题的目标是:基于给定的 ReKep 约束集和辅助成本,找到一个末端执行器姿势作为下一个子目标(及其相关时间),以及实现该子目标的姿势序列。

Java_rich的博客 1666

SAP AI Core 高阶能力实战参考

文章摘要:本文探讨了在企业SAP架构中整合GenAI技术的工程化实践,重点分析了SAP AI Core的高阶能力应用。作者指出,企业级AI应用需解决多轮对话管理、Git同步工作流、提示词治理等核心问题,而非简单接入大模型API。技术方案展示了如何通过SAP AI Core的orchestration service管理对话历史,利用GitOps实现AI资产版本控制,并强调prompt template在审计合规中的治理价值。全文以SAP技术栈(ABAP/RAP/Fiori)为背景,阐释了AI能力与企业核心系

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 106

李飞飞ReKep论文解读:大模型直接驱动机器人操作,无需数据集

近日,Google DeepMind发布了基于 Gemini 2.0 的具身推理模型Gemini Robotics-ER以及动作模型Gemini Robotics。Gemini Robotics-ER 通过增强的具身推理(ER)能力,将语义理解扩展至物理几何(如 3D 结构、物体位姿)和动态场景(如运动轨迹、接触效应),使机器人从“感知环境”升级为“理解物理规律”。例如,它能识别咖啡杯的把手并规划安全抓取路径,甚至动态生成控制代码以适应突发变化,而无需预先的数据训练。

m0_63171455的博客 1623

Burpsuite 使用教程

Burpsuite 使用教程

xiongIT的博客 8232

【C#学习记录】如何让界面控件实现自适应布局(Winform)

小伙伴们大家好,我是雷工!在软件界面设计中,客户常常要求设计的界面可以随意缩放,缩放过程中,界面中的按钮等控件也会随着窗体变大缩小自动调整显示位置和尺寸大小。在C#的Winform窗体中如何实现这个效果,下面我们一起学习下。

做有价值的事,积累有价值的笔记! 1万+

李飞飞团队新突破:具身智能的“空间大脑”来了!

将任务分解为多个“关键点”(比如茶壶的手柄、杯口边缘),每个关键点代表一个有意义的3D位置。

Python_cocola的博客 1416

【即插即用模块】卷积篇 | TCSVT 2025 | MFACB:多尺度膨胀融合,快速扩大感受野,多尺度特征精准捕捉!

本文提出了一种新型多尺度融合膨胀卷积模块MFACB,用于增强语义分割任务中的特征表达能力。该模块通过三分支串联膨胀卷积结构快速扩大感受野,采用双路径融合机制(基础信息路径+多尺度信息路径)实现高效上下文聚合。相比传统卷积块,MFACB在保持轻量化的同时显著提升了多尺度特征捕捉能力,实验表明其性能优于基础残差块。该模块支持自定义膨胀率和步长调整,可灵活嵌入不同网络阶段,适用于需要特征增强的视觉任务。

主要更新底层视觉(去噪、超分等)相关的科研内容,形式为【论文精读】+【论文复现】 312

斯坦福&李飞飞:具身智能时空操作约束·ReKep

Ⅰ. ReKep实现将空间与时间尺度上的约束表示为形式化Python函数,熟悉我的大伙可能知道,在很多场景下我时不时的都会提及“形式化”,如早期llm应用于数学证明中与形式化语言lean的协作,再到RL+LLM下的形式化探索与利用的潜在价值..这里所采用的Python函数亦为具身智能对时空约束操作与动作任务空间打下了形式化基础,当然在具身智能领域采用函数数值约束计算也很常见,但我想对于未来更复杂的具身系统对形式化有着更进一步探索与创新空间。

weixin_42619619的博客 1045

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

李飞飞团队佳作不断:聚焦机器人抓取交互,让机器人操作真正地适应各种环境

尽管ReKep取得了一定的成果,但仍存在一些局限性。首先,优化框架依赖于基于刚性假设的关键点前向模型,尽管高频反馈循环放松了对模型精度的要求,但仍然存在一定的局限性。其次,ReKep依赖于精确的点跟踪来正确优化闭环中的动作,但由于间歇性遮挡等问题,点跟踪本身就是一个具有挑战性的3D视觉任务。最后,当前的公式假设每个任务的阶段序列是固定的,重新规划不同的骨架需要在高频下运行关键点提议和VLM,这带来了相当大的计算挑战。未来的研究可以进一步改进和完善ReKep,以应对实际应用中的各种挑战。

soaring_casia的专栏 1360

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

斯坦福大学联合项目 | ReKep 方法论文解读:机器人操作中关系关键点约束的时空推理

摘要:研究团队提出"关系关键点约束(ReKep)"方法,利用DINOv2和GPT-4o自动生成基于3D关键点的约束规则,通过分层优化实现机器人灵活操作。实验采用Franka机械臂和RGB-D相机,验证了该方法在多场景任务(倒茶、折叠衣物等)中的有效性,成功率显著优于传统方法。该方法无需任务特定数据,支持实时优化(约10Hz),能应对干扰和协作场景,为通用机器人操作提供了新思路。未来有望通过视觉-语言模型迭代进一步提升复杂任务的鲁棒性。

Hinyeung2021的博客 1202

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

Rekep配置相关过程(附pip和conda配置)

conda源,配置文件位置:用户目录下的.condarcpip源,可能这些源有更新,需要用最新的,目录:C:\Users\308\AppData\Roaming\pip需要在这个目录下手动新建一个pip.ini文件,把源配置进去,清华等镜像都可以,注意conda和pip是用的不同的两套源,pip的-i 指向要看清楚,不能用conda的源。

weixin_52231619的博客 895

多链路聚合低时延可靠 UDP 赋能具身机器人实景落地

随着具身智能加速走向实景应用,机器人不再只是单机执行设备,而是需要持续和云端交互、实时感知环境、具备安全兜底能力的智能体。当主链路异常时,系统需要毫秒级切换,快速接管控制指令,及时制动、避险,杜绝安全事故。多链路聚合技术,将多路通信链路融合调度,配合低时延可靠 UDP 协议,在保障 UDP 原生低时延优势的同时,通过链路冗余、数据包分片与动态调度,降低丢包、抵御信号突变。从算法训练到现场作业,从正常运行到异常应急,为具身机器人构建一条持续可靠的通信大动脉,助力具身智能实景场景稳步落地。

QDLL123的博客 189

灵巧手是什么?从机械结构、驱动方式到控制原理,认识机器人的精细操作能力

灵巧手是实现机器人精细操作的关键末端执行器,具备多指协调与复杂抓取能力。相比传统夹爪,其优势在于可完成捏取、旋转、调整姿态等精细动作。其核心由机械结构、驱动方式(如电机、腱绳传动)、传感系统(位置、力、触觉)及控制算法构成。通过高自由度设计与多模态感知,灵巧手能实现自适应抓握与稳定操作,广泛应用于医疗、制造与服务领域,代表了机器人向人类操作能力逼近的重要方向。

feizuiku0116的博客 2464

把 Agent 搬进飞书:飞书 Agent 机器人演示

本文展示下如何将 Agent 搬进飞书,协助提高日常的工作效率。

分享 Go、云原生、AI Infra 相关技术 343

广和通亮相electronica 2026,展示智能割草机器人、AI终端及无线连接解决方案

—在electronica 2026德国慕尼黑电子展上,广和通展示无线连接、AI及机器人技术在终端开发中的应用,为OEM厂商提供覆盖的多层次技术选择。

Fibocom_Wireless的博客 195

Runway开源机器人大模型Praxis-1,推演延迟压到62毫秒

Runway开源机器人大模型Praxis-1,推演延迟压到62毫秒

math_bearrr的博客 341

环视同步与拼接的工程改法:从车规到机器人

重叠区的形状也要看:横向窄、纵向长的重叠,和四四方方的重叠,能提供的约束不一样,前者在俯仰变化时更脆弱。务实做法是给相机支架足够的刚性,把易变的安装点做成可重复定位的结构,再配一套快速校验手段。支架刚性也不是越硬越好,而是要在刚度、重量、成本之间取平衡:机器人末端对重量敏感,一味加厚支架会影响运动性能,这时更该把可重复定位和快速校验做扎实。动态范围的处理没有银弹。拼接错了,标定也救不回来:重叠区不足时,匹配点不够,任何算法都只能猜。相机装在哪里,要看机器人在典型任务中的姿态,而不是看它在展厅里站着的样子。

gunser的博客 250

Atracsys 3D视觉定位导航系统 SDK 故障分级与 PoE+ 部署:手术机器人集成中的实时误差诊断、单线供电与现场重校准

位姿计算可以拆成四步:两台相机同步成像;提取反光球、反光片或红外 LED 的像点;按标定参数做三角测量,得到每个特征点的三维坐标;再由标记几何先验解算 6DoF(x、y、z、α、β、γ)。工程难点不在公式,而在全视场并行采集、特征点编号不串、遮挡时仍能稳定输出,以及标定参数在全工作体积内的一致性。

欣佰特cnbestec的博客 324
上一篇: 用于知识图谱集成的 LLM 提示工程技术
下一篇: LongLLaVA:首个Mamba+Transformer混合架构多模态大模型来了,实现单卡千图推理
大模型星球
博客等级 码龄5年 1132粉丝 239原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值