【买机器人，上BFT】香港大学联合项目论文解读 |Bunny-VisionPro：用于模仿学习的低成本实时双臂灵巧遥操作系统

研究背景

在机器人遥操作领域，双臂灵巧手的协同控制一直是难点。现有系统普遍面临三大挑战：一是难以精准协调双手完成复杂操作，二是缺乏有效的触觉反馈导致沉浸感不足，三是在保证安全性（如碰撞、奇异点规避）的同时难以维持实时性能。这些问题直接限制了高质量人类演示数据的收集，进而影响下游模仿学习的效果。

香港大学与加州大学圣地亚哥分校联合研发的Bunny-VisionPro系统，以VR头显（Apple Vision Pro）为核心交互载体，通过创新的模块化设计，解决了上述痛点：

• 提出低成本触觉反馈方案，增强操作者沉浸感；

• 实现实时碰撞与奇异点规避，保障操作安全性；

• 显著提升遥操作成功率和效率，同时优化模仿学习的泛化能力。

---

研究中的核心方法

Bunny-VisionPro的核心优势源于三个创新模块的协同设计：

1. 手臂运动控制模块

• 功能：基于操作者腕部姿态，实时计算机器人手臂关节角度，同时处理碰撞规避与奇异点问题。

• 创新点：无需高端GPU，通过统一优化目标（融合逆运动学、碰撞成本、奇异点成本）实现高效计算，确保实时性（>60Hz）。

• 碰撞规避：将机器人连杆建模为球体集合，通过简化距离计算加速碰撞检测；

• 奇异点规避：基于雅可比矩阵行列式的可操作度指标，仅在接近奇异点时触发惩罚机制。

2. 灵巧手重定向模块

• 功能：将人类手指运动精准映射到机器人手，支持含环形关节（如四杆机构）的灵巧手。