具身智能数采方案：全身动捕工作一览

最新推荐文章于 2025-12-15 13:59:02 发布

转载最新推荐文章于 2025-12-15 13:59:02 发布 · 252 阅读

CC 4.0 BY-SA版权

原文链接：https://mp.weixin.qq.com/s?__biz=Mzg2NzUxNTU1OA==&mid=2247674417&idx=2&sn=bf374f7a82f3afdfe92de610d8431bb9&chksm=cfecdd744a0b299241ae5a53e2b2851bdc69921a941840c13367e41d764df55fcb81427062c6&scene=126&sessionid=0

部署运行你感兴趣的模型镜像

最近很多同学咨询我们全身动捕数据的方案，相比于遥操作/VR+动捕手套，这种方案技术难度上更大，今天也为大家汇总几篇行业里面比较知名的全身动捕方案。更多内容欢迎移步到具身智能之心知识星球，一个交流技术和方案的地方。

OpenWBC

项目链接：https://github.com/jiachengliu3/WBC_Deploy

本项目实现了对 Unitree G1 机器人的全身控制：使用 Apple Vision Pro 结合avp_teleoperate控制机器人上半身，使用OpenHomie算法控制下半身运动。同时支持全身数据采集功能。

主要功能特性：

双模式控制: 上半身远程操控 + 下半身自主行走
实时控制: 基于 Apple Vision Pro 的低延迟控制
全身数据采集: 支持完整的机器人动作数据收集
模块化设计: 可独立部署上半身或下半身控制
跨平台通信: TCP/IP 网络通信架构

TWIST

TWIST: Teleoperated Whole-Body Imitation System

项目链接：https://yanjieze.com/TWIST/

斯坦福大学团队出品的工作。全身远程操控人形机器人标志着迈向通用机器人智能的关键一步，而人体运动为控制所有自由度提供了理想接口。然而，当前大多数人形机器人遥操作系统难以实现协调的全身行为，通常仅限于孤立的移动或操作任务。团队提出"全身运动模仿遥操作系统"（TWIST），该系统通过全身运动模仿实现人形机器人远程操控。首先通过将人体动作捕捉数据重定向至人形机器人来生成参考运动片段，随后结合强化学习与行为克隆（RL+BC）开发出鲁棒、自适应且响应灵敏的全身控制器。通过系统分析，我们证明了引入特权未来运动帧和真实世界动作捕捉（MoCap）数据如何显著提升跟踪精度。TWIST使人形机器人在现实世界中仅通过单一神经网络控制器，即可实现前所未有的、多功能的、协调的全身运动技能——涵盖全身操作、腿臂协同操作、移动以及富有表现力的动作。

AMO

AMO: Adaptive Motion Optimization for Hyper-Dexterous Humanoid Whole-Body Control

项目链接：https://amo-humanoid.github.io/

加利福尼亚大学圣迭戈分校团队出品。人形机器人卓越的灵巧性主要源于其超灵活的全身运动能力，这种能力使其能够执行需要大范围工作空间的任务——例如从地面拾取物体。然而，由于高自由度（DoF）和非线性动力学特性，在真实人形机器人上实现这些能力仍面临重大挑战。团队提出自适应运动优化框架（AMO），该框架将仿真到现实的强化学习（RL）与轨迹优化相结合，实现实时自适应的全身控制。为缓解运动模仿强化学习中的分布偏差问题，我们构建了混合型AMO数据集，并训练出能够对潜在分布外（O.O.D）指令进行鲁棒按需适应的网络。通过在仿真环境和29自由度的Unitree G1人形机器人上进行验证，AMO展现出相较于基线方法的卓越稳定性及扩展的工作空间。最终实验表明，AMO的稳定性能通过模仿学习支持自主任务执行，充分验证了该系统的多功能性与鲁棒性。

OpenWBT

清华大学&银河通用团队出品，论文：Unleashing Humanoid Reaching Potential via Real-world-Ready Skill Space

项目链接：https://github.com/GalaxyGeneralRobotics/OpenWBT

该仓库实现了使用 Apple Vision Pro 对宇树（Unitree）G1 和 H1 人形机器人进行全身的遥操作控制，该系统不仅支持实机也能使用户在仿真中遥操，基于该系统只需要一个遥操员就可以控制机器人像人一样运动、蹲、弯、抓，搬等，大幅度扩展了机器人作业空间以实现更多任务。

在这个项目中，遥操作可分为下半身控制与上半身控制两部分。针对下半身控制，方法允许使用者通过一对摇杆控制器来操控人形机器人行走或改变身体姿态。而上半身控制方面，机器人手部动作是通过逆向运动学算法，从VR设备捕捉到的人手位姿数据计算得出的。

基于R2S2工作：

人类在三维世界中具备广阔的交互空间，能够灵活触及不同高度和距离的物体。然而，人形机器人要实现这种大范围触达能力，需要解决复杂的全身协同控制问题——包括基座定位与转向、高度与体态调整、末端执行器姿态控制等多项技能的同步掌握。传统从零开始的训练方法往往面临优化困难与仿真-现实迁移性差的瓶颈。为此，团队提出"Real-world-Ready Skill Space"（R²S²）框架：首先构建由现实可用基础技能组成的精调技能库，通过逐项技能优化与仿真-现实验证确保最优性能与强健的迁移性；继而将这些技能集成至统一潜空间，形成可高效执行任务且具备迁移特性的结构化先验知识；最终通过训练高层规划器从该空间采样技能，使机器人完成现实世界中的目标触达任务。实验证明，R²S²在点触式交互与箱体抓取等挑战性场景中实现了零样本的仿真-现实迁移。

Clone

Clone: Closed-Loop Whole-Body Humanoid Teleoperation for Long-Horizon Tasks

项目链接：https://humanoid-clone.github.io/

北京理工大学等团队出品。人形机器人遥操作在演示和采集复杂人机环境交互数据方面具有关键作用。然而现有系统存在两大局限：为维持稳定性将上下肢控制解耦，限制了自然协调性；采用开环控制且缺乏实时位姿反馈，导致误差累积。核心挑战在于如何实现长时间精确协调的全身遥操作，同时保持全局定位准确性。本研究提出的基于混合专家（MoE）的闭环纠错系统CLONE，仅通过MR头显的头手追踪即可实现前所未有的全身操作保真度，在长距离移动中保持极低的位置漂移。与以往要么牺牲协调性求稳定、要么面临无界漂移的方法不同，CLONE通过实时反馈机制在学习多样化运动技能的同时抑制误差累积，可完成"从地面拾取物体"等复杂协调动作。这一成果为长期人机环境交互任务中的全身遥操作树立了新标杆。