FlowNet3D&HPLFlowNet学习笔记（CVPR2019）

FlowNet3D

本文是从三维动态点云数据中进行环境理解的一种网络，（场景流）

本文贡献：

1. 提出了一种新的架构，称为FlowNet3D，它可以从一对连续的点云端到端估计场景流。
2. 在点云上引入了两个新的学习层（flow embedding和set upconv）:学习关联两个点云的流嵌入层和学习将一组点的特性传播到另一组点的上采样层。（前者用于将两个点云的数据进行相关的融合，后者是上采样层，同时能够生成场景流）
3. 展示了如何将所提出的FlowNet3D架构应用到KITTI的实际激光雷达扫描中，并与传统方法相比，在三维场景流估计方面取得了很大的改进。

本算法输入：

为连续两帧的原始点云

本算法输出：

第一帧中所有点所对应的密集的场景流

网络结构：

FlowNet网络结构

结构中三个关键点的讲解

网络的三个主要部分讲解：

1. ponitnet++在原始点云上进行点云特征的提取，
2. 通过本文新发明的flow embedding网络，学习上下帧两幅图中的点的几何关系，推断运动。（在第一帧中取中心点，其临近点从第二帧中取，再提取特征。）
3. 上采样层。上采样到原始点，并在最后一层预测所有原始点的流。

注：每个可学习层都是多层感知机来完成的（MLP）

参考博客：
https://www.sohu.com/a/320446782_715754
https://blog.youkuaiyun.com/hailanglin/article/details/103298602

感谢两位大佬之前的阅读与总结。

HPLFlowNet

输入：

仅使用点云数据

核心思想：

采用Bilateral Convolutional Layers作为基本模块，提取前后两帧点云特征并进行融合、上采样，直接拟合出scene flow。
（文章受到bilateral convolutional layers的启发，本文作者发明了DownBCL，UpBCL和CorrBCL）

备注：

与FlowNet3D的整体结构一样，都是下采样-融合-上采样。Bilateral Convolutional Layers能够快速处理高维稀疏数据，是不同于PointNet的一种滤波操作