39、无需视觉的抓取学习

无需视觉的抓取学习

1. 引言

在日常生活中，我们抓取物体时，视觉起着重要作用，例如抓取一个光滑的玻璃瓶，我们通过视觉确定其位置和形状等属性，进而规划抓取动作。然而，接触物体后，手部可能会遮挡物体，此时触觉反馈对于调整手部姿势以实现可靠抓取就变得至关重要。实际上，人类甚至能够仅依靠触觉来抓取物体，比如在夜间摸索床头柜上的水杯。

但目前大多数机器人抓取算法主要依赖视觉传感。那么，机器人能否仅依靠触觉而不借助视觉来抓取未知物体呢？又能否将视觉输入和触觉反馈结合起来实现更稳健的抓取呢？

本文提出了一种仅基于触觉传感且无需先验物体知识的通用抓取框架。目标是能够处理各种未知物体，重点关注单个物体的二维平面抓取。首先设计了一个定位模块，通过“触摸扫描”工作空间并使用粒子滤波器来估计物体的大致位置。同时，将抓取视为一个具有错误恢复功能的多步骤过程，提出了一个重新抓取模块，用于通过多次重试来优化初始抓取。

为了训练高容量的深度网络，创建了一个包含视觉和触觉传感数据的大规模抓取数据集。该数据集记录了图像、触觉测量值、抓取动作、是否成功抓取的标签以及物体的材料标签。

2. 相关工作

• 基于视觉的抓取 ：视觉感知一直是抓取规划和执行的主要方式。一些基于模型的抓取方法利用点云或图像等视觉信息来估计物体的物理属性，如形状或姿态，最终生成抓取控制命令。但从视觉输入中精确感知物体的详细物理属性具有挑战性，且对于寻找理想的控制策略可能并非必要。因此，近年来基于学习的方法受到关注，这些方法直接将视觉数据映射到开环抓取的控制信号。不过，仅使用视觉输入会导致一些问题，如因低摩擦导致的物体滑落或因自我遮挡导