个人笔记——SGPN初学

SGPN是前段时间看的一篇点云实例分割的论文，在此，对SGPN的相关内容做个总结回顾。

  

SGPN是点云实例分割的首篇论文，在google scholar上搜相关点云实例分割的论文，似乎还有一篇是GSPN，通过点云的三维重建去实现实例分割，具体没有细看，略表不提。SGPN最大的贡献在于走通了点云实例分割的整个流程，对于点云如何进行实例分割给出了可行性方案，SGPN是基于pointnet系列的文章，从整体来看，网络结构简单、灵活、高效。不过可能是由于实例分割问题本身比较复杂，其后处理的东西相对于pointnet而言多了很多。当然这有可能可以化简，但无法避免。

 

SGPN通过相似矩阵的方式完成了实例分割的具体目标，而这也是作者在论文中着重描述的地方，阐述了为什么相似矩阵更适合点云的实例分割，而不是像mask-rcnn的处理方式一样，通过目标检测+FCN的方式实现。而正如作者所言，二维图像具有很强的空间相关性，在点云中，由于点的无序性，造成了这种空间相关性的消失，所以点云必须在处理的时候，将整个整体同时进行处理，可以视为是shape-centric structure，网络在学习时，必须基于此进行学习，网络可以不使用相似矩阵表示，但仍应遵循此原则。

 

接下来对网络的前向结构进行描述：

SGPN的网络结构如上图所示，在特征提取阶段，使用pointnet/pointnet++的中间层作为特征提取的网络结构，在具体使用上，是使用了pointnet的倒数第二层卷积层的结果。在特征提取之后，SGPN将网络分为三个部分，分别为相似矩阵、置信度矩阵和最后的语义分割结果。在相似矩阵中，Fsim(i,j)表示第i个点和第j个点的相似度，当我们卡一个阈值时，即可取到与i点最相似的一些点，而这些点构成了i点所在实例的proposal，相似矩阵中每个点都会作