MV3D论文和代码解析

1.前言

3D点云数据的一些主要问题可以体现在其（1）稀疏性（2）无序性（3）冗余性三个方面。

对于稀疏性，现有的一些方法喜欢引入体素（Voxel）进行三维空间的划分，然后将稀疏、无序，分布不均匀的点云数据分配于不同的体素，接着利用MLP、卷积、池化等操作实现对体素（点云）进行特征提取，很明显这种方法会引入大量的计算量。

考虑到这一点，本文要解析的MV3D并没有使用类似的方法，而是将点云数据和图片数据映射到三个不同的维度进行特征融合，然后进行物体的定位和识别。

这三个维度分别为：点云的俯视图、点云的前视图以及图片。这里值得注意的，作者融合了点云数据和图片数据，说到底，这就是一个多模态融合的问题。

MV3D的论文地址为：https://arxiv.org/abs/1611.07759
MV3D的代码地址为：https://github.com/bostondiditeam/MV3D

2. MV3D的点云处理

上面提到MV3D将点云和图片数据映射到三个维度进行融合，从而获得更准确的定位和检测的结果。这三个维度分别为点云的俯视图、点云的前视图以及图片，如下图所示。

（1）点云俯视图

点云俯视图由高度、强度、密度组成。

高度图的获取方式为：作者将点云数据投影到分辨率为0.1的二维网格中，将每个网格中所有点高度的最大值记做高度特征。为了编码更多的高度特征，将点云被分为M块，每一个块都计算相应的高度图，从而获得了M个高度图。

强度图的获取方式为：仍然是分辨率为0.1的二维网格中，找到每个网络中具有最大高度的点云的反射强度，构成1个强度图。

密度图的获取方式为：统计每个单元中点云的个数，并且按照公式

进行标准化，其中N为单元中的点云个数，构成1个密度图。
那么点云俯视图的维度为 ($M$