机器人抓取中物体定位算法概述

本文同步于微信公众号：3D视觉前沿，欢迎大家关注。

1. 引言

机器人抓取的首要任务，是确定要抓什么，也就是需要定位目标物体在输入数据中的位置。这个过程可以分为三个层次，分别为物体定位但不识别、物体检测、物体实例分割。物体定位但不识别是指获得目标物体的2D/3D范围但是不知道物体的类别；目标检测是指得到目标物体的2D/3D包围盒，同时识别目标物体的类别；目标实例分割提供目标物体所占有的像素或者点级别的区域信息，同时识别目标物体的类别。本文来自论文https://arxiv.org/abs/1905.06658，涉及的论文也都可以在论文中找到，也包含于https://github.com/GeorgeDu/vision-based-robotic-grasping，本文就不引用了。

2. 定位但不识别

当不知道目标物体的类别时，仍然可以采用一些方法获得目标物体的2D/3D区域，进而支撑机器人抓取。当我们知道物体的外轮廓形状时，可以采用拟合形状基元的方法。当我们什么信息都没有时，可以采用显著性物体检测方法，获得潜在可能的待抓取物体区域。

2.1 基于2D RGB图像的方法

图1 基于2D图像的定位但不识别方法

a.拟合形状基元： 目标物体的形状可以是一个椭圆、一个多边形或者一个四边形，这些2D形状可以看作是形状基元，通过拟合方法，可以定位到目标物体。该方法的一般步骤为先提取出图像的所有封闭轮廓，其次再用拟合方法得到潜在的可能目标物体，如果存在多个候选，可以使用模板匹配去除干扰。在OpenCV中已经集成了例如拟合椭圆、拟合多边形这样的函数。

b.显著性区域检测： 和特定形状基元相比，显著性区域可以是任意形状。2D显著性区域检测的目的是定位和分割出给定图像中，最符合视觉显著性的区域，这更像一个分割任务。非深度学习的方法主要挖掘低层次的特征表示，或者依据一些经验例如颜色对比、形状先验来得到显著性区域。基于深度学习的方法主要包括基于多层感知机(MLP)的方法，基于全卷积网络(FCN)的方法和基于胶囊网络的方法。

在目前的机器人抓取任务中，该方法仍处在初级阶段。在工业领域，如果待抓取物体形状固定且轮廓清晰，可以采用拟合形状基元的方法。在另外一些机器人抓取任务中，如果背景的颜色信息和目标物体的颜色信息差别较大，也可以去除背景得到目标物体。在Dex-Net2.0中，目标物体放置在绿色背景的桌面上，通过背景颜色分离，可以得到目标物体。

2.2 基于3D点云的方法

图2 基于3D点云的定位但不识别方法

a.拟合3D形状基元： 目标物体的形状可以是一个球体、圆柱体或者长方体，这些3D形状可以看作是3D形状基元。存在很多