SuperPoint: Self-Supervised Interest Point Detection and Description

标题：《SuperPoint: Self-Supervised Interest Point Detection and Description》

作者：Daniel DeTone, Tomasz Malisiewicz, Andrew Rabinovich（都在 Magic Leap工作）

摘要：

• 本文提出了一个自我监督框架，用于训练兴趣点检测器和描述符，适合大量的多视几何问题。
• 与基于补丁的神经网络相对，该框架的完全卷积模型在全尺寸图像上操作，计算像素级的兴趣点位置和相关描述符。
• 通过Homographic Adaptation和一个多尺度、跨域适应的方法增强了兴趣点（interest points)检测的泛化能力。
• 当模型在MS-COCO通用图像数据集上训练时，它能反复检测出比初始预训练深度模型更丰富的兴趣点。
• 与传统的角点检测器相比，该系统达到了前沿的齐次估计结果。

引言

• 几何计算机视觉任务的第一步通常涉及到检测图像中的兴趣点。
• 兴趣点有助于三维重建、摄像机标定等。
• 当前的方法通常依赖于人工标记的点。
• SuperPoint不依赖于人工标记的点，而是使用一个全卷积神经网络自我监督地表示这些点。
• 这种方法可以很好地检测出“关键点”或“地标”点，对于各种任务，如物体检测和室内姿态估计，都很有用。

在本文的自我监督方法中，(a)在合成数据上预先训练了一个初始的兴趣点检测器，并(b)使用了一个新的同态适应程序来自动标记来自未标记域的目标图像。 

从一个由创建的合成数据集中获取了一些示例，称为“合成形状”。该合成数据集包括简单的几何形状，与合成数据集上的兴趣点位置无关。我们称这样训练得到的检测器为“MagicPoint” —— 它在合成数据集上显著地优于其他兴趣点检测器(参见Section 4)。MagicPoint在真实图像上的表现出奇的好，尤其是当与经典的兴趣点检测器相比。但是，由于图像纹理和模式的多样性，MagicPoint在真实图像上错过了许多潜在的兴趣点位置。为了弥补这一差距，本文开发了一种多尺度、多变换技术——同态适应。

同态适应被设计为启用兴趣点检测器的自我监督训练。它扭曲输入图像多次以帮助在不同的视点和尺度下识别兴趣点(参见Section 5)。本文在MagicPoint检测器的联合下使用同态适应来增强检测器的性能并生成伪真实兴趣点(参见图 2 b)。这些检测结果更为稳定且针对更广泛的刺激，因此将结果检测器命名为SuperPoint。

检测稳定和可重复的兴趣点之后的常见步骤是为其附加固定维度的描述符，例如，用于图像匹配。因此，本文将SuperPoint与描述符子网络结合(参见图 2c)。SuperPoint架构由深度堆叠的卷积层组成，它逐渐向下到一个细节描述符子网络来组合兴趣点网络与描述符子网络(参见部分 3)。最终系统如图 1 所示。

相关工作

传统的兴趣点检测器已经得到了深入的评估。FAST角点检测器是第一个将高速角点检测作为机器学习系统的方法，而 SIFT 可能是最