(CVPR 20) D3Feat: Joint Learning of Dense Detection and Description of 3D Local Features

最新推荐文章于 2024-10-07 16:19:53 发布

原创

最新推荐文章于 2024-10-07 16:19:53 发布 · 1.1k 阅读

CC 4.0 BY-SA版权

文章标签：

本文介绍了D3Feat的关键优势，包括联合学习描述符和关键点检测、使用KPConv的高效特征提取、以及关键点选择策略对RANSAC的影响。通过实例展示了网络结构、Loss设计和实验结果，表明在小点数场景下，D3Feat展现出明显优势。

在这里插入图片描述
想要了解深入了解D3Feat产生的原因，建议可以先去看一下D2Net[1]，再来看D3Feat.

D3Feat核心优势：

D3Feat提供了一种联合框架，在学习描述子的同时进行关键点的检测，传统匹配可能是detect and describe，而本文遵循describe to detect的范式，即不需要额外显式预测关键点，在提取描述子的同时进行关键点的选取。
采用KPConv作为特征提取backbone，全卷积的网络架构能够使整个网络前向传播速度很快，作一次inference基本在1s以内。
最终用来做RANSAC配准的点不再是随机选取，而是选取网络学习出来的关键点。（其实关键点这种策略在3DMatch中效果并不是特别明显，原因是3DMatch benchmark作过2.5cm下采样后，基本点数在20K左右，随机选取5K点和选取5K关键点，最后RANSAC出来效果其实相差不大，或者说并没有很显著的优势，但在小点数比如250点时优势会比较明显）

在这里插入图片描述

采用KPConv作为backbone进行特征提取，本文中不作重点介绍，需要的可以去看原文。(代码方面不得不说原作者Hugues THOMAS真的很强，但是会相对比较难理解一些，建议上手KPConv代码可以先从白博的这里入手)
KPConv在这里可以粗浅的理解为一个Encoder-Decoder结构：输入点云 $\in {R^{N \times 3}}$ ，输出feature map $\in {R^{N \times c}}$ ， $c$ = 32.
重要假设：可以认为，关键点的特征是具有一些特殊属性，即与领域点的特征会有较大差别的，因此使用这一点来进行关键点的选取：
首先约定一些符号：
${D^k} = {F_{:k}},{D^k} \in {R^N}$