视觉实现触觉方案在Franka机器人操控任务中的实验验证

一、介绍

触觉传感器旨在复制机器的触觉，使机器人能够收集与其接触的物体的物理特性信息，包括纹理、形状和柔软度。这种触觉能力在对易碎物体进行精确而精细的操作时尤其重要，例如处理食品或易碎材料。在各种触觉传感器技术中[1]，基于摄像头的触觉传感器由于其高分辨率、稳健性、电路简单和低成本，最近引起了研究界的广泛兴趣 [2]与电子传感器相比，这种传感器更先进。这种传感器通常由可变形弹性体组成，并在其后方集成一个摄像头，用于捕捉接触过程中发生的变形的高分辨率图像。举几个应用例子，手部操作[3]、体积网格重建[4]，以及对软脆物体的操作[5]已在文献中使用配备基于视觉的触觉传感器的自主机器人实现。然而，在许多现实世界的应用中，人类指导仍然是必不可少的，以确保成功的结果。这种必要性出现在从意外故障中恢复、在高度非结构化的环境中操作或记录示例操作等场景中。

受上述观察的启发，我们的研究深入研究了远程操作场景，旨在将人类指导技能与安装在机器人末端执行器上的基于视觉的触觉传感器收集的触觉信息相结合。更具体地说，我们提出了一种新颖的触觉到触觉 (T2H) 算法，我们将观察到的触觉信息转换为用户远程操作控制器上接收到的振动。尽管触觉反馈已在文献中得到广泛应用，例如参见[6，7，8]，据我们所知，目前还没有现成的解决方案可以将基于摄像头的触觉传感器数据带入价格合理的消费级硬件中，用于远程操作机器人机器人。我们的框架旨在满足这一需求，通过提供一种易于部署的方式来远程操作配备夹持器和两个 DIGIT 触觉传感器的 Franka 机器人[9]，使用 Oculus Quest 2 控制器 夹持器。机器人末端执行器模仿手持控制器的 6D 速度，而触发按钮用于关闭和打开夹持器。触觉感知被转换成控制器感知到的振动幅度，让用户直观地感受到物体是否被抓取以及抓取的力度。此外，我们为框架配备了部分自主行为，一旦机器人抓住物体，就会自动检测并防止滑落。