HumanoidGen: Data Generation for Bimanual Dexterous Manipulation via LLM Reasoning

HumanoidGen是一种基于大语言模型(LLM)的自动化数据生成框架,专为人形机器人双臂灵巧操作设计。它通过空间标注(关键点与轴)、LLM任务分解、空间约束链生成及轨迹优化,实现高质量演示数据合成;引入MCTS增强的STCR机制提升长程推理能力;构建首个双臂灵巧操作基准HGen-Bench(20任务),验证其在2D/3D扩散策略训练中的有效性。

文章主要内容总结

本文提出了HumanoidGen,一个用于双足机器人双臂灵巧操作的自动化任务创建与演示数据生成框架,旨在解决现有机器人数据集多针对单臂平台、双臂灵巧操作数据稀缺的问题。其核心流程包括:

  1. 空间标注与场景生成:对资产(物体)和灵巧手进行关键点位与轴的标注,基于LLM生成包含环境配置和任务成功条件的代码;
  2. LLM任务规划:将长程任务分解为原子操作序列,生成空间约束链(如点位重合、轴平行),并通过轨迹优化器求解运动轨迹;
  3. 推理增强:引入蒙特卡洛树搜索(MCTS)的STCR机制,提升LLM在长程任务和标注不足场景下的推理能力;
  4. 基准构建与实验验证:构建包含20个不同难度任务的HGen-Bench基准,实验表明生成的数据可有效提升2D和3D扩散策略的性能,MCTS显著改善了LLM的推理效率。

创新点

  1. 基于原子操作与空间标注的LLM规划:通过对物体和手的关键点位、轴进行标注,使LLM能生成精确的空间约束链,将双臂操作转化为可求解的约束优化问题。
  2. MCTS增强的推理机制:提出STCR(Segment-Truncate-Combine-Resume)机制,通过树搜索扩展LLM的输出,提升长程任务和标注不足时的推理成功率,同时减少 token 消耗。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值