结构之法 算法之道

Manual2Skill：基于视觉语言模型的家具自动装配框架 摘要：新加坡国立大学等机构提出的Manual2Skill框架，通过视觉语言模型（VLM）理解家具装配手册，实现自主机器人装配。该框架首先利用GPT-4o解析手册中的抽象示意图，生成分层装配图；然后结合部件点云和手册图像预测6D装配位姿；最后通过运动规划生成无碰撞装配轨迹。实验表明，该方法能有效处理复杂的长时序装配任务，显著减少对示范数据的依赖。相比传统方法局限于简单桌面任务，Manual2Skill突破了复杂家具装配的挑战，为智能制造提供了新思路

在此文《》的1.1节开头有提到机器人收集训练数据一般有多种方式，比如Dexmv物理本体，有的翻译为embodiment38-Dexmv即embodiment-agnostic keypoint，49考虑到「从人类视频中学习」早已成为机器人的主流训练方法之一，故打算系统阐述以下这个课题，不然很多朋友可能只是理解其字面意思，但到底具体怎么个模仿学习，则不一定知其里，而通过本文系统的阐述，可以让大家更深刻的理解模仿学习背后更深的细节。

今年十一7天假期期间，一半的时间都在改本博客内的上一篇文章《从Fast-UMI到Diff-Control：分别改进UMI的硬件及其所用的Diffusion policy(含ControlNet详解)》，改完之后，接下来计划要写的博客包括且不限于。然10.7日晚，又无意中看到了「UMI on Legs和Helpful DoggyBot」这两个工作，前者把UMI机械臂放到机器狗背上(适合我司之前去一个客户机房的场景)，后者把夹爪放到机器狗嘴里。

ReKep 的一个实例是一个函数，它将关键点数组(记作 k)映射到一个无界的成本，其中表示约束已满足函数实现为一个无状态的 Python 函数，包含对关键点进行的 NumPy [123] 操作，这些操作可能是非线性和非凸的本质上，ReKep 的一个实例编码了关键点之间的一种期望的空间关系，这些关键点可能属于机器人手臂、物体部件和其他代理然而，一个操作任务通常涉及多个空间关系，并且可能具有多个时间上相互依赖的阶段，每个阶段都包含不同的空间关系。

Figure 的创始人 Brett Adcock 和 AI 团队的负责人 Corey Lynch 在 X 上解释了此次视频中机器人互动背后的原理此次的突破，由 OpenAI 与 Figure 共同做出。OpenAI 提供负责提供视觉推理和语言理解，而 Figure 的神经网络提供快速、低水平、灵巧的机器人动作机器人所做出的所有行为都是出于已经学习过，内化了的能力，而不是来自远程操作，具体则如下Figure 的机载摄像头以 10hz 的频率拍摄图像。