PVN3D: A Deep Point-wise 3D Keypoints Voting Network for 6DoF Pose Estimation 2020 论文笔记

旷视，港科大，物体位姿识别

自己的想法：

这个是需要先验知识的物体位姿估计，Hough投票思想在3D目标检测任务中取得了非常大的成功，在物体位子估计中又发挥了非常大的作用。的确，点云数据稀疏而无序，在通过聚类算法消除离群点的干扰的前提下，Hough投票思想能够充分发挥每一个点云的作用，最大限度的利用点云数据。
最后，基于3D关键点的位姿估计在物体位姿估计任务中表现非常不错，是不是可以考虑应用到相机位姿估计中？

摘要

论文输入（RGBD图像）深度图和单帧图像，使用基于关键点的方法来检测图像中物体的姿态信息。论文提出了一个深度霍夫投票网络来检测物体的三维关键点，然后使用最小二乘拟合来估计6D位姿参数。

该方法是基于2D关键点方法的自然扩展，它在RGB图上估计6D位姿取得了成功。论文方法充分利用具有额外深度信息的刚体的几何约束，易于网络学习和优化。该方法达到了sota的性能

论文简介

本文研究的是6D位姿估计，即在标准框架下识别物体的3D位置和方向。

一些方法直接使用 DNN 回归物体的旋转R和平移矩阵T，但是由于旋转空间是非线性的，这些方法的泛化性往往较差。另一些方法则通过DNN检测一个物体的2D关键点，再通过PnP算法计算 6D 位姿参数。

尽管这种两阶段的方法更加稳定，但PnP算法构建在2D投影误差上，而2D空间的小误差在真实的3D空间中会被放大很多，而且，3D空间中的不同关键点可能会在2D投影后发生重叠，变得难以区分；更重要的，刚体的几何约束信息会由于相机的投影而部分缺失。

本文充分利用了刚体的几何约束信息，将基于2D关键点的方法扩展基于3D关键点，提升6D位姿测量精度。具体而言，本文提出一种基于霍夫投票（Hough voting)的神经网络，以学习逐点到3D关键点的偏移并为3D关键点投票。

当场景有多个物体时，本文在网络中引入一个实例语义分割模块，并和关键点投票任务联合优化

论文发现联合训练这些任务可以让网络学出更好的表征从而提升网络在每一个任务上的性能。具体来说，语义分割通过确认一个点属于物品的哪一部分从而帮助判断该点到关键点的平移偏移量；另一方面，平移偏移量包含的物品的尺度信息有助于模型区分外表相似但大小不同的物体。

本文贡献：

1. 提出了一种基于实例语义分割的深度3D关键点霍夫投票网络，用于单RGBD图像的6D位姿估计；
2. 在YCB和LineMOD数据集上性能达到sota；
3. 深入分析基于3D关键点的方法，并与之前的方法进行了比较，表明3D关键点是提高6D位姿估计性能的关键因素。我们还证明，联合训练3D关键点和语义分割可以进一步提高性能。

论文方法

首先阐明要解决的问题：给定一张RGBD图像，物体6D位姿估计任务旨在将其从物体坐标系转换到相机坐标系的刚性变换，包含一个3D旋转变换和一个3D平移变换。即估计物体坐标系到相机坐标系的位姿变换矩阵。

首先特征提取模块从RGBD图像中提取每个点的特征。

分别输入模块到M_k、M_c和M_s来预测每个点到关键点、中心点的平移偏移以及语义分割。然后使用聚类算法来对不同实例进行实例分割。接着同一实例上的点对其目标关键点进行投票。最后，用最小二乘法对应预测关键点，估计出6D位姿参数。

3D关键点检测模块M_k

在特征提取模块提取逐点的特征之后，3D关键点检测模块M_k 负责检测每个物体的3D关键点。

具体的：

1. 预测从可见点到目标关键点的欧几里得平移偏移量
2. 通过这些可见点的坐标和预测的偏移量为目标关键点的位置投票
3. 这些投票的点由聚类算法进行聚类以消除离群点的干扰，群集的中心点即为投票选出的关键点

损失函数：
$$L_{keypoints}=\frac{1}{N}\sum _{i=1}^N\sum _{j=1}||o{f}_i^{}$$