Image Processing and Computer Vision_Review：HPatches A benchmark and evaluation of handcrafted and l...

翻译

HPatches：手工和学习本地描述符的基准和评估——http://tongtianta.site/paper/8979

 

摘要：在本文中，我们提出了一个评估本地图像描述符的新基准。我们证明现有数据集和评估协议没有明确指出评估的所有方面，导致文献中报告的结果含糊不清和不一致。此外，由于最近通过从大注释数据集中学习它们而获得的局部描述符的改进，这些数据集几乎饱和。因此，我们引入了一个适用于训练和测试现代描述符的新的大型数据集，以及在匹配，检索和分类等几个任务中严格定义的评估协议。这允许在不同的应用场景中进行更真实且更可靠的比较。我们评估几个状态描述符的性能并分析它们的属性。我们表明，传统手工描述符的简单规范化可以在实际的基准评估中将其性能提升到基于深度学习的描述符的水平。

 

一，简介
局部特征描述符仍然是图像匹配和检索系统的重要组成部分，它是一个活跃的研究领域。随着可学习表示的成功以及越来越大的标记数据集的可用性，对局部描述符的研究已经复兴。端到端学习允许彻底优化可用基准的描述符，显着优于完全[20]或半手工制作的特征[21,32]。

表1.在同一基准评估相同描述符的同时，文献中报告的结论存在矛盾（牛津[22]）。由于隐含参数的变化，行报告不一致的评估结果，例如特征检测器。

 

然而令人惊讶的是，这些据称更好的描述符的采用在应用中受到限制，SIFT [20]仍然主导着这一领域。我们认为这是由于基于现有基准的报告绩效评估不一致[22,38]。这些数据集要么很小，要么缺乏多样性，以便很好地概括描述符的各种应用。描述符技术和应用要求的进展尚未与基准和评估协议的可比较发展相匹配。因此，尽管学习的描述符可能针对特定场景进行了高度优化，但尚不清楚它们是否在更一般的情况下运行良好，例如：在用于训练它们的特定数据集之外。事实上，如表1所示，仅根据已发表的实验比较描述符是困难和不确定的。

在本文中，我们为局部特征描述符引入了一个新颖的基准套件，它具有明显更大的定义，具有明确定义的协议和更好的泛化属性，可以取代现有的数据集。这得益于牛津匹配数据集[22]的成功，这是最广泛采用且仍然非常受欢迎的本地特征评估基准，尽管只有48个图像。这对于在深度学习和大规模数据集时代评估现代描述符是非常不利的。虽然存在一些较大的数据集，如第2节所述，但在数据和任务多样性，评估指标和实验重现性方面存在其他重要缺陷。我们通过在第3节中确定并满足此类基准的关键要求来解决这些缺点。

数据多样性被认为对于评估描述符的各种属性尤为重要。为此，我们在真实和变化的捕获条件下收集大量不同场景的多图像等级，如第4节所述。场景被选择为代表不同的用例并在不同的视点，照明或时间下捕获条件，包括在申请中遇到的具有挑战性的滋扰因素。图像用地面实况变换注释，允许识别评估由描述符建立的匹配质量所必需的唯一对应关系。
比较的再现性和公平性在基准测试中至关重要。通过消除检测器参数的影响来解决这个问题。因此，基准是基于提取的局部图像块而不是整个图像，这带来了重要的好处：i）它允许比较描述符模数检测器的选择，ii）它简化了过程并使实验可重复，并且重要的是， iii）它避免了各种偏见，例如测量区域的数量或大小或半局部几何约束使得基于图像的基准测试结果无法比拟（第2部分）。

任务多样性是现有评估基准中很少涉及的另一项要求。为此，我们在第5节中定义