5、无纹理物体6D姿态估计与农业视觉检测技术

无纹理物体6D姿态估计与农业视觉检测技术

无纹理物体6D姿态估计

在许多实际应用场景中，准确估计无纹理物体的6D姿态是一个具有挑战性但又十分关键的任务。下面将详细介绍一种基于RGB - D图像的无纹理物体6D姿态估计方法。

姿态聚类

首先，我们从每个像素特征中获取6D物体姿态。之后，需要选择一个最佳姿态作为估计的最终姿态，并将其输入到后续的姿态细化网络中。这里受到PPF方法的启发，具体步骤如下：
1. 创建一个新的聚类，以得票最高的姿态假设为核心。
2. 将相似的姿态归为一类。
3. 如果某个姿态与现有聚类明显不同，则创建一个新的聚类。
4. 每个聚类的得分是其所包含的所有姿态数量之和。
5. 最终返回得分最高的姿态。

姿态细化子网络

利用姿态估计子网络，我们已经得到了一个近似姿态$T_0$。姿态细化网络的目标是基于$T_0$预测更准确的6D姿态。
- 渲染点云 ：受DeepIM方法的启发，通过渲染物体的3D模型来获取RGB图像。为了消除对颜色和纹理的依赖，在6D姿态$T_0$下渲染物体的3D模型，得到估计的3D点云。
- 网络结构 ：该子网络以估计的点云和从深度图像中获取的初始点云作为输入，预测当前近似姿态和目标姿态之间的$\Delta T$。受PointNet的启发，为了保证$\Delta T$在两个点云姿态同时改变时保持不变，使用一个小型网络预测仿射变换矩阵，并将其直接应用于两个输入点云的坐标。这个小型网络由点独立特征提取、平均池化和全连接层等基本模块组成。由于点云是一组没有特定顺序