TWIST2——全身VR遥操控制:采集人形全身数据后,可训练视觉base的自主策略(基于视觉观测预测全身关节位置)
TWIST2是一套创新的人形机器人遥操作与数据采集系统,结合了全身控制的强大功能和便携性优势。该系统使用VR设备(PICO4U)和低成本动作追踪器实现全身动作捕捉,无需昂贵设备。创新性地设计了可拆卸颈部模块,集成立体视觉,支持第一人称操作。系统包含人体姿态重定向流程和基于强化学习的鲁棒动作追踪控制器,能完成长时序灵巧任务(如折叠毛巾)和高效数据采集(20分钟100次演示)。此外,提出的分层控制框架(底层运动跟踪+高层扩散策略)首次实现了基于视觉的全身自主控制。相比现有方案,TWIST2在保持全身控制能力的同
虚幻版Pico大空间VR入门教程 04 —— PicoOpenXR和PicoXR插件对于PDC串流、SteamVR串流、OpenXR串流对比 和 手势追踪对比
PICO4UE企业版VR设备开发中的串流与手势追踪技术方案。重点对比了三种串流方式:PDC串流调试、企业串流v2.0(支持OpenXR/SteamVR)和企业串流v1.2(仅SteamVR),并详细分析了不同插件组合(PicoXR/PicoOpenXR)下的手势追踪实现效果。通过实际测试数据表明,企业串流v2.0在OpenXR模式下性能最优,手势追踪功能完整,而SteamVR模式存在连接不稳定的问题。文章还提供了手势追踪组件配置、骨骼映射调整等开发经验,以及不同串流方式下的性能对比数据,VR开发提供技术方案


