Deep Learning for 3D Point Clouds: A Survey

Guo Y, Wang H, Hu Q, et al. Deep learning for 3d point clouds: A survey[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020.
之前组会要分享的一篇综述，太长了没读完，不知道啥时候能写完。。

一、摘要

最近，点云学习因其在计算机视觉、自动驾驶和机器人等许多领域的广泛应用而引起越来越多的关注。作为人工智能领域的主导技术，深度学习已成功用于解决各种二维视觉问题。然而，由于使用深度神经网络处理点云所面临的独特挑战，点云上的深度学习仍处于起步阶段。最近，点云上的深度学习甚至变得蓬勃发展，人们提出了许多方法来解决这一领域的不同问题。为了促进未来的研究，本文全面回顾了点云深度学习方法的最新进展。

本文综述了三维理解的最新方法，包括三维形状分类、三维目标检测与跟踪、三维场景与目标分割。对这些方法进行了全面的分类和性能比较。文中还介绍了各种方法的优缺点，并列举了潜在的研究方向。
三维数据在不同领域有着广泛的应用，包括自动驾驶、机器人、遥感技术和医疗。

一些公开数据集：ModelNet、ShapeNet、ScanObjectNN、PartNet、S3DIS、ScanNet、Semantic3D、ApolloCar3D、the KITTI Vision Benchmark Suite 。这些公开的数据集促进了三维点云深度学习的研究，越来越多的方法被提出来解决与点云相关的各种问题，包括三维形状分类、三维目标检测与跟踪、三维点云分割、三维点云配准、六自由度姿态估计和三维重建等。

二、背景

三、 3D shape classification

1. Multi-view based : project an unstructured point cloud into 2D images.【基于多视：将非结构化的点云投影到二维图像中。】
2. Volumetric-based: convert a point cloud into a 3D volumetric representation. well-established 2D or 3D convolutional networks are leveraged to achieve shape classification.【基于体积：将点云转换为三维体积表示。利用成熟的二维或三维卷积网络来实现形状分类。】
3. Point-based: do not introduce explicit information loss.【基于点：不引入明确的信息损失】
   

3.1 Multi-view based Methods(project 3D shape into multi-views and extract view-wise features)【多视】

1. MVCNN: max-pooling, only retains maximum elements.【采用最大池化，仅保留最大特征】
2. MHBN: integrate local conv features by bilinear pooling -> compact global descriptor.【通过双线性池化整合局部的卷积特征】
3. a relation network to exploit inter-relationship over a group views -> discriminative 3D object representation.
4. View-GCN: multi views as graph nodes. Core layer composing of local graph convolution. Graph apply non-local message passing and selective view-sampling.【将“多视”视为图节点，核心层由局部图卷积组成。应用非局部的信息传递和选择性的视图采样。】

3.2 Volumetric-based Methods(point cloud => 3D grids)【3D点云->3D网格】

1. VoxNet: volumetric occupancy network to achieve robust 3D object recognition.【volumetric occupancy网络来实现强大的三维物体识别。】

2. 3D ShapeNets: conv deep belief-based network to learn distributions of points from various 3D shapes.【基于信念的深度网络学习各种三维形状的点的分布情况。】

3. OctNet: 1st hierarchically partition point cloud using a hybrid grid-octree structure.
   Represent the scene with several shallow octrees along a regular grid.

4. Octree-based CNN: The average normal vectors(法向量) are fed into the network, and 3D CNN is applied on the octants. 【八叉树】

   OctNet requires much less memory and runtime for high-resolution point clouds.【对于高分辨率的点云，八叉树需要更少的内存并且更快。】

5. PointGrid: Integrate point and grid represent for efficient point cloud processing. Use 3D Conv to extract features by sampling from each embedding volumetric grid cell.【 整合点和网格来实现高效的点云处理。使用3D Conv从每个嵌入的体积网格单元取样来提取特征。】

6. Ben-Shabat: input point cloud -> 3D grids -> 3D modified Fisher Vector (3DmFV). Use CNN learn global representation.【point cloud -> 3D grids -> 3D modified Fisher Vector 】

3.3 Point-based Methods

Dependin