14、全触觉灵巧手抓取策略与智能触觉系统在人机协作中的应用

全触觉灵巧手抓取策略与智能触觉系统在人机协作中的应用

1. 全触觉灵巧手抓取流程

全触觉灵巧手的抓取过程分为视觉控制和触觉控制两个阶段。

在视觉控制阶段，利用Kinect深度相机拍摄目标物体的二维和三维图像。二维图像通过CNN神经网络识别目标物体的形状和名称，其形状用于调整机器人灵巧手接触目标物体时的手部位置。同时，二维图像通过轮廓识别圈出目标物体的边界，并与三维图像整合以获取边界的空间坐标。根据目标物体的形状，机器人移动到相应位置，并根据物体名称调用数据库中对应物体的稳定抓取方法和压力范围。

触觉控制阶段从视觉控制阶段的最后时刻开始，直至实现稳定抓取。此阶段不涉及视觉控制，与外界的交互基于触觉信息。机器人从视觉控制阶段的最后时刻的空间位置接近目标物体，直至接触到物体，触发抓取/交互信号开始抓取。实时将电机运行状态和触觉信息输入多输入多输出神经网络，以获得下一时刻电机运行状态的预测结果。当判断触觉信息为稳定抓取时，电机停止运行并保持一段时间，此时判定抓取完成。

2. 视觉调整抓取姿势

根据算法识别出的图像轮廓，开始调整抓取姿势。针对不同形状的目标物体，调整方式如下：
- 球形物体 ：检测目标物体轮廓上边缘点的空间坐标，将机器人灵巧手的手掌向下翻转，拇指与手掌成30°角。机器人手臂驱动灵巧手到距离目标物体上边缘10 cm处，然后缓慢向下移动，直至手掌部分接触目标物体。
- 圆柱/棱柱形物体 ：检测目标物体轮廓右上角点的空间坐标和右边界中点坐标。将机器人灵巧手的手掌朝向物体，拇指与手掌成0°角。机器人手臂驱动灵巧手到距离目标物体上边缘10 cm处