PointNet论文分析

PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation

一.摘要

本文提出了一种直接计算点云的新型神经网络，可以处理输入点点排列不变性。该神经网络名为PointNet，为对象分类、部分分割和语义分割提供了统一的框架。PointNet简单、高效且有效。可以实现新的sota。本文还从理论上分析了网络学到了什么，以及网络为什么具有鲁棒性。

 

本文的主要贡献：

- 设计了一种应对无序的点云的神经网络架构

- 展示了如何训练网络执行分类、部分分割和语义分割任务

- 对该方法对稳定性和效率进行了全面的实证和理论分析

- 说明了网络中所选神经元计算的3D特征，并对其性能进行了直观的解释

二.相关工作

Point Cloud Features

大部分现有的点云功能都是针对特定任务手工制作的。点的特征通常对点的某些统计属性进行编码，并设计为对某些转换保持不变，这些转换通常被分类为内在的或外在的。也可以分为局部特征和全局特征。对特定任务找到最优特征组合并非易事。

Deep Learning on 3D Data

3D数据有多种表示形式，导致了各种学习的方法。其中有Volumetric CNNs、FPNN、Vote3D、Spectral CNNs、Feature-based DNNs等等。

Deep Learning on Unordered Sets

从数据结构的角度来看，点云是一组无序的向量，点云