D3Feat: Joint Learning of Dense Detection and Description of 3D Local Features论文笔记

一.四个问题

1.要解决什么问题？

一个成功的点云配准通常依赖于通过有区分性的3D局部特征建立鲁棒的稀疏匹配。尽管基于学习的三维特征描述子发展迅速，但三维特征检测器却很少受到关注，更没有考虑到这两个任务的联合学习。
2.用什么方法解决？

点云配准的目的是寻找两个具有重叠(overlap)点云直接最佳变换，这是SLAM等应用的基本任务。而局部关键点的检测和描述是获得鲁棒点云对齐结果的两个关键。

对于关键点检测，随机选择一组点进行特征描述，是一个选择。这会带来以下几个问题: (1)随机选择的点可能位于非显著区域(如平面等)或者属于噪声点，影响匹配结果; (2)为了获得完整的场景覆盖，需要对随机点进行过采样，这会大大降低整个匹配过程的效率。作者认为，少量的关键点就足以成功地对齐点云，而良好的关键点点位可以进一步提高配准精度。
作者利用一个3D全卷积网络来处理三维点云，并提出一个新颖且实用的学习机制，可以密集地预测每个3D点的检测分数(detection score)和特征描述。特别地，作者提出了一种克服3D点云固有密度变化的关键点选择策略，并进一步提出了在训练过程中有特征匹配结果引导的自监督检测器损失函数。因此，作者提出了D3Feat(Dense Detection and Description of 3D local Features)，实现特征检测器和特征描述子的联合学习。作者的主要贡献:

基于全卷积网络，采用联合学习框架实现3D局部特征检测和描述.