yolov3 3D 语义点云paper阅读

paper: deep learning based semantic labeling of 3d point cloud in Visual SLAM

这篇paper是把2D的yolo v3检测与3D点云结合，实现语义点云地图

SLAM基于的是orb slam2
结构如下：

yolo v3是用来做2D图片的目标检测的，并不是作语义分割的，那如何给点云作语义Label呢？
目标检测的轮廓并不像语义分割那样，但是那块区域的label可以映射到3D点云。

那么前提是3D点云的点已经完成了聚类，label投上去，那一类的点就被打上了语义标签。

下面来说点云的聚类：
由于点很多，计算费时，所以paper中先用supervoxel算法把点云分割成superoxel，supervoxel用图的形式表示，即顶点和边的组合。
聚出来的类(顶点)称为surface patches.

每个surface patches会有一个形心c, 类似k-means算法把点聚类，
其中距离定义为d(c, pcm), pcm是plane candidates.
用RANSAC算法使总能量E最小。

Paper的创新点在于把2D的yolo检测和3D的点云结合，但是semantic label这一步不能达到实时性，性能在5s左右。