论文阅读笔记——RoboBrain: A Unified Brain Model for Robotic Manipulation from Abstract to Concrete

RoboBrain 论文
将任务规划、Affordance 感知(人手与物体接触的区域)、轨迹预测整合进 MLLM,实现指令->具体动作的端到端能力,结合 RoboOS 实现多机器人任务分配。

ShareRobot

  • 细粒度:与 Open X-Embodiment 不同,ShareRobot 为每个数据点都包含于各个帧相关联的详细低级规划指令;
  • 多维度:对任务规划、物体可操作性(affordances)以及末端执行器轨迹进行了标注;
  • 采用 QA 问答形式标注。(个人理解:QA 标注相比于直接低级规划指令标注让模型更关注任务到动作的映射)
  • 末端执行器
  • 丰富多样性:ShareRobot 具有 102 个场景,涵盖 12 个实施例和 107 种原子任务。这种多样性使 MLLM 能够从不同的现实世界环境中学习,从而增强复杂、多步骤规划的稳健性。
    在这里插入图片描述

RoboBrain

在这里插入图片描述采用 SigLIP 作为视觉编码器,然后通过两层 MLP 将其投影到语义空间,采用 Qwen2.5-7B-Instruct 作为 LLM。
采用 bounding box 来表示 affordance region: O i = { A i 0 , A i 1 , … … , A i N } O_i=\{A_i^0,A_i^1,……,A_i^N\}

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值