PF-Net: Point Fractal Network for 3D Point Cloud Completion 2020 论文笔记

---

上海交通大学，商汤科技

自己的想法：拿这个作为数据预处理模块挺好的，不知道速度怎么样。GAN的损失函数不太了解，导致其中GAN鉴别器的应用部分有点没看懂，一般设计网络的时候可能到计算Chamber loss就可以了，但是这样生成的点云不够自然，所以加入了GAN让点云看起来更像真的，试验结果也显示GAN对性能提升有一定作用。

论文简介

从激光雷达等设备中获取的点云往往有所缺失，这给点云的后续处理带来了一定的困难，也凸显出点云补全作为点云预处理方法的重要性。

传统的点云补完方法基于物体基础结构的先验信息，如对称性信息或语义类信息等，通过一定的先验信息对缺失点云进行修补。这类方法只能处理一些点云缺失率很低、结构特征十分明显的缺失点云。

近年来，一些工作也尝试使用深度学习来实现点云补全，如 LGAN-AE，PCN, 和 3D-Capsule 等，这些工作以不完整点云作为输入，输出完整点云，造成网络过于关注到物体的整体特征而忽略了缺失区域的几何信息。另一方面，这些网络会生成偏向于某类物体共性特征的点云，而失去某个物体的个体特征。

本文提出 unsupervised Point Fractal Network，即PF-Net，采用了类似分形几何的思想，同样以不完整点云作为输入，但是仅输出缺失部分点云，并且较好地保留了某个物体的个体特征。

主要特征有：

1. 输出为缺失部分的点云，可以更多保留物体点云的空间结构，对物体的局部特性感知更好
2. 提出了更优的点云特征提取器：多分辨率编码器（Multi-Resolution Encoder），多尺度的方法提升了高低层次点云语义信息提取的效率；
3. 提出了金字塔解码器（Point Pyramid Decoder，PPD）用于生成点云，利用多阶段补全损失 (Multi-stage completion loss) 监督其中关键点云的生成，从而减少了几何结构瑕疵。
4. 利用 GAN 鉴别器（Descriminator）优化网络，改善了同一类别不同物体间的特征会相互影响的现象（Genus-wise Distortions Problem）

论文方法

网络总结构：

网络结构分三大块：

• 多分辨率编码器：MRE, Multi-Resolution Encoder
• 金字塔解码器：PPD, Point Pyramid Decoder
• GAN鉴别器：Descriminator

1. IFPS模块

使用迭代最远点采样（ iterative farthest point sampling，IFPS）来从点云数据中提取特征点。该算法也在PointNet++ 中被用于提取点云的骨架。相比CNN方法IFPS更加高效，相比随机采样方法IFPS可以更好的表示整个点云的分布。

上图结果说明即使我们提取了6.25％的点，这些点仍然可以描述灯的外形，并具有与原始灯相似的密度分布，证实了IFPS的有效性

2. 多分辨率编码器模块 MRE

2.1 特征提取器CMLP： Combined Multi-Layer Perception

顾名思义，CMLP将最后四层的输出拿出来连接在一起，作为最后的特征输出，同时照顾了high-level和low-level的特征。相比只输出最后一层特征的PointNet-MLP效果更好

2.2 MRE

模型使用IFPS采样后共有3个输入点云，每个都有独立的CMLP模块进行特征提取，得到三个独立的特征向量F1 F2 F3，然后输入到一个MLP中得到final vector V。

3. 金字塔解码模块 PPD

输入为final vector V, 输出M×3的点云，代表缺失的点云。

全连接的解码器擅长预测点云的整体几何信息，但是，由于它仅使用最后一层来预测形状，因此始终会导致局部几何信息丢失。先前的工作将全连接解码器与folding-based的解码器结合在一起，以增强预测局部几何形状。但是，如《Point cloud auto-encoder via deep grid de-formation》中所提到，如果原始表面相对复杂，folding-based解码器将无法很好地处理类属失真（ genus-wise distortions,同一类别不同物体间的特征会相互影响的现象）并保留原始的详细几何形状。

受到FPN的启发作者设计了金字塔解码模块PDD：

使用全连接层以final vector V为输入得到三个特征FC1，FC2, FC3。

• FC3通过卷基层得到主要中心点的预测$Y_{primary}，（M_1\ast 3）$，
• 通过FC2和$Y_{primary} $ 得到次要中心的相对坐标 $Y_{secondary}$，
• 通过FC1和$Y_{secondary}$得到细节点云$Y_{detail}$

同时，$Y_{det}$