【OmniGlue|CVPR 2024】利用基准模型引导的一般化特征匹配

最新推荐文章于 2025-07-28 10:42:29 发布

原创

最新推荐文章于 2025-07-28 10:42:29 发布 · 2.2k 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#python

1、文章概述

论文地址： https://arxiv.org/abs/2405.12979

代码地址：OmniGlue: Generalizable Feature Matching with Foundation Model GuidanceDESCRIPTION META TAGhttps://hwjiang1510.github.io/OmniGlue/ 现如今，大多数现有的局部特征匹配研究仍旧集中在有大量训练数据的特定视觉领域，当前的模型难以泛化到其他领域，OmniGlue是首个以泛化为核心原则设计的可学习图像匹配器，增强了对训练时未可见领域的泛化能力。

2、Methodology

2.1 Framework

OmniGlue利用视觉基础模型DINOv2的广泛知识来指导特征匹配效果，通过一个新颖的关键点位置引导注意力机制，将空间和外观信息分离，从而增强匹配描述符。与此同时，它还采用了SuperPoint进行关键点检测和特征提取，并构建了密集链接的图像内和图像间的关键点图。再通过自注意力和交叉注意力机制进行信息传播，同时仅使用关键点位置信息引导，避免了对训练分布的过度依赖。最终，通过优化的匹配层生成两个图像中的关键点映射。