结构之法 算法之道

TWIST2是一套创新的人形机器人遥操作与数据采集系统，结合了全身控制的强大功能和便携性优势。该系统使用VR设备(PICO4U)和低成本动作追踪器实现全身动作捕捉，无需昂贵设备。创新性地设计了可拆卸颈部模块，集成立体视觉，支持第一人称操作。系统包含人体姿态重定向流程和基于强化学习的鲁棒动作追踪控制器，能完成长时序灵巧任务(如折叠毛巾)和高效数据采集(20分钟100次演示)。此外，提出的分层控制框架(底层运动跟踪+高层扩散策略)首次实现了基于视觉的全身自主控制。相比现有方案，TWIST2在保持全身控制能力的同

摘要：TrajBooster提出了一种跨形态框架，通过将末端执行器轨迹从轮式机器人迁移到双足人形机器人，解决双足VLA微调数据稀缺问题。该框架包含真实轨迹提取、仿真重定向和真实微调三个步骤，利用AgibotG1的大规模数据提升UnitreeG1的VLA训练效果。实验表明，仅需10分钟真实遥操作数据即可实现广泛全身操作任务，展现了在多样化工作空间中的操作能力。

本文解读了PhysHSI系统，这是一个面向真实世界的通用人形机器人-场景交互系统。该系统通过仿真训练和现实部署两大模块实现：在仿真阶段，利用重定向MoCap数据结合AMP强化学习训练出具有自然动作和泛化能力的策略；在现实部署中，通过激光雷达与相机结合的定位模块解决物体定位难题。PhysHSI能稳定完成搬箱子等交互任务，相比传统方法在泛化性和动作自然度上具有优势。其创新点包括混合参考状态初始化、非对称Actor-Critic框架等，为具身智能发展提供了新思路。

摘要：ResMimic提出了一种基于残差学习的人形机器人全身行走-操作框架，通过解耦通用运动跟踪（GMT）策略与任务特定修正，实现高效精确的控制。GMT策略在大规模人类动作数据上预训练，提供运动先验；残差策略则针对物体交互进行轻量级调整。相比现有方法依赖任务特定设计或有限全身交互，ResMimic在统一框架下支持多样化接触与动态操作，减少数据需求与奖励工程。相关研究背景涵盖人形控制、模仿学习及残差学习在机器人领域的应用，凸显该工作对推动通用全身操作的意义。

摘要 DreamControl提出了一种结合扩散模型与强化学习的全身类人机器人控制方法。该方法通过人类动作扩散先验引导强化学习策略，解决了传统方法在全身运动操作任务中面临的挑战。系统分为两阶段：首先利用人类动作数据训练扩散先验模型生成运动规划；然后在仿真环境中训练RL策略跟随这些规划完成特定任务。该方法仅需人类数据而非遥操作数据，显著降低数据收集成本，同时生成更自然的运动轨迹，有助于缩小仿真与现实的差距。实验表明，该方法能发现传统RL无法获得的解决方案，并实现真实机器人部署。

VisualMimic提出了一种基于视觉的人形机器人仿真到现实强化学习框架，通过分层策略设计实现复杂物体交互。低层任务无关策略学习人体运动先验，高层任务相关策略基于自中心视觉生成指令。采用教师-学生蒸馏方法解决动作简化带来的性能损失问题，并引入数据增强提升鲁棒性。实验证明该方法能实现零样本迁移到真实机器人，完成推箱、踢球等多样任务，在户外环境也表现稳定。相比现有方法，该框架在任务多样性和现实适应性方面取得突破，为人形机器人自主操作提供了新思路。

摘要：HDMI（人形交互模仿）是一种从人类视频中学习全身控制的新框架。该研究解决了人形机器人-物体交互(HOI)中的两大挑战：数据稀缺和强化学习训练难题。方法分为三个阶段：从RGB视频提取运动轨迹、使用强化学习训练协同跟踪策略、直接部署执行。关键技术包括：统一物体表示、残差动作空间和交互奖励机制。相比传统方法，HDMI无需任务特定奖励设计，能处理不同物体类型和交互场景，实现更自然的搬运等复杂任务。该框架为人形机器人运动-操作一体化提供了通用解决方案。

SoFTA论文提出慢-快双智能体框架解决人形机器人行走时末端执行器稳定控制难题。该框架将上半身(100Hz)和下半身(50Hz)控制解耦，分别针对精细操作和步态鲁棒性设计独立奖励机制。实验显示该方法能将末端执行器加速度降低50-80%，达到接近人类水平的2m/s²以下，使端水杯等精细任务成为可能。这种差异化控制策略有效解决了行走与操作在时间尺度和控制要求上的根本性矛盾。

《FALCON：力自适应人形机器人行走操作的双智能体强化学习框架》 摘要：本文提出FALCON框架，针对人形机器人在高强度行走操作任务中的力适应问题，采用双智能体强化学习架构。通过将上下半身控制策略解耦训练，并共享全身感知信息，FALCON实现了在三维末端执行器力作用下的协调控制。创新性地设计了考虑关节扭矩限制的三维力课程，使策略能逐步学习力适应能力。实验表明，相比传统方法，FALCON在训练效率、运动稳定性和操作精度方面表现更优，并在Unitree G1和Booster T1平台上验证了其跨平台泛化能力，

摘要：大型行为模型(LBM)正成为机器人操控领域的研究热点，受到大语言模型成功的启发。本文解析了LBM的关键技术：采用扩散模型(DDIM)构建视觉运动控制策略，通过Transformer架构处理多模态输入。研究指出，相比单任务模型，LBM在任务泛化、样本效率和抗干扰性方面表现更优。文章还探讨了机器人数据集获取的挑战，包括远程操作、仿真协同训练等方法。尽管LBM展现出潜力，但仍面临仿真-现实鸿沟、多模态融合等难题。波士顿动力Atlas的出色表现印证了LBM在实际应用中的价值。

LeVERB是首个基于视觉-语言潜在动作的人形机器人全身控制系统，由加州伯克利等机构联合研发。该系统采用分层架构：高级视觉-语言策略（系统2）解析多模态输入并生成潜在动作计划；低级反应式控制器（系统1）以50Hz频率执行全身动作。创新点包括：1）通过合成数据流程生成17.1小时真实感运动数据；2）残差条件变分自编码器实现语义对齐；3）判别器消除模态差异。实验表明LeVERB能完成"走到桌子旁"等复杂指令，填补了视觉语言驱动人形控制的空白。项目网站已开源相关代码和数据集。

摘要：UC伯克利团队开发的人形乒乓球机器人HITTER突破了传统机器人动作模仿的局限，实现了在动态环境中的高速交互。该系统采用分层架构，结合基于模型的轨迹预测和强化学习控制器，使机器人能在亚秒级反应时间内完成击球动作。相比静态操作，该研究展示了人形机器人在实时动态任务中的突破，为具身智能发展提供了新方向。这标志着人形机器人从表演性动作向实用化迈进的"MobileAloha时刻"，预示着未来在运动陪练等场景的应用潜力。

6月团队密集开展具身智能开发，连续实现机械臂(piper)、人形机器人(宇树G1)的VR遥操与自主任务训练。重点突破TWIST系统，该创新方案将全身遥操建模为实时动作重定向问题，通过MoCap数据采集与两阶段RL训练策略，解决了人机异构体差异带来的控制瓶颈。系统整合15,000段离线动作与150段实时数据，在29自由度的UnitreeG1上实现多样化类人技能。相比传统模块化控制器或局部动作捕捉方案，TWIST通过末端执行器扰动训练和联合优化关

本文解读了R2S2和OpenWBT工作，提出Real-world-Ready Skill Space（R2S2）框架来解决类人机器人在真实环境中的运动控制问题。该框架通过构建包含行走、姿态调整和手部操作等原始技能库，并通过模仿学习和强化学习将技能集成编码为潜在空间，从而实现了技能间的协调与切换。研究在IsaacGym仿真环境中训练，采用PPO算法和域随机化技术，最终形成具有仿真到现实迁移能力的结构化技能先验，为高层任务规划提供了统一表达。该工作突破了传统方法在系统建模和环境扰动上的局限，为类人机器人的全身控

为了实现让类人机器人自主执行类似人类任务的最终目标当前的研究主要集中在改进单项技能上，包括运动能力locomotion（Radosavovic等，2024；Zhuang等，2024）、双手操作manipulation（Ze等，2024a；Li等，2024a；Zhou等，2024）以及全身控制whole-bodycontrol（He等，2024a；Fu等，2024a）最近的研究（Firoozi等，2023；

为了历练新同事们，我给所有的新同事们分为了三个项目组(长沙及各地原有的老同事们 则继续之前的客户订单项目)第一组 通过RL(uc伯克利hil-serl) 实现电源插拔第二组 通过lerobot act/pi0，和VLA openpi 实现USB插拔第三组 在弄人形，这两天搞的过程中 发现缺一些设备，所以下周到位后 正式开搞G1 edu版以上的前两个组偏机械臂，大伙每天都在全力加速前进，而人形测 我则继续做更多的技术探索、积累、铺垫如此，过程中，关注到了CLONE这个工作，故本文来解读之

自去年起，我司专注于具身智能的场景落地与定制开发，导致需求激增，工作节奏加快。在此背景下，我关注了CMU、UCSD、斯坦福等高校的最新研究，特别是UCSD王小龙团队的AMO工作。AMO提出了一种自适应运动优化框架，通过混合运动合成和可泛化策略训练，解决了人形机器人在动态全身控制中的挑战。该框架结合了动作捕捉数据和概率采样，生成满足动力学约束的全身参考动作，并通过AMO网络实现连续映射，提升了机器人在复杂环境中的适应性和实时响应能力。这一创新为人形机器人的灵巧操作提供了新的解决方案。

本文一开始是属于此文《人形loco-manipulation专题——涵盖Mobile-TeleVision、外骨骼驾驶舱HOMIE、下肢RL-上肢模仿的AMO、上下双智能体联合训练的FALCON》的第二部分的但考虑到在这4个针对loco-manipulation的模型中，我想先尝试一下其中的这个HOMIE加之，HOMIE相对开源的更彻底，更想把其介绍的更详尽细致些考虑到为了避免对上文篇幅过长的担忧，而使得很多细节 没法尽情展开，故把HOMIE独立出来，成此文