46、基于凝视跟踪与手部动作识别的移动机械臂直观远程操作方法

基于凝视跟踪与手部动作识别的移动机械臂直观远程操作方法

1. 引言

在远程操作移动机械臂的领域中，为了让操作者能有更直观、高效的体验，研究人员开发了一种结合凝视跟踪和手部动作识别的方法。该方法通过在移动机器人手臂的末端执行器上固定摄像头，为操作者提供视觉反馈，就像操作者拥有“千里眼”一样。同时，引入了自适应自动校正方法，帮助操作者更好地实现手眼协调，提升远程操作的效果。

2. 系统描述

为了增强远程操作体验，采用了凝视跟踪和手部动作检测相结合的方法来远程操作KUKA Youbot。以下是系统的主要组成部分：
- KUKA Youbot ：这是一个全向移动机器人平台，具有一个5自由度的机械臂和一个两指夹爪。
- Smart Eye系统 ：用于跟踪人类用户的凝视方向，与Youbot机械臂的行为相关联，主要涉及机械臂的旋转运动或方向。
- 摄像头 ：安装在机器人手臂的末端执行器上，让用户在远程操作时能从机器人的视角查看周围环境，如障碍物等。
- Leap Motion传感器 ：用于检测用户的手部动作。右手的手势被转换为Youbot基座的行为指令，方向与操作者的手在传感器上方的位置一致。

这个组合系统为用户在操作远程机器人时提供了直观的体验。此外，Youbot的速度会根据凝视跟踪和手部动作的当前状态进行自适应校正：
- 当用户向前看并向前指时，系统认为用户全神贯注于机器人，机器人基座将全速前进。
- 当操作者看向和指向同一侧时，Youbot基座的速度会降低