1、文章概述
论文地址: https://arxiv.org/abs/2405.12979
代码地址:OmniGlue: Generalizable Feature Matching with Foundation Model GuidanceDESCRIPTION META TAG
https://hwjiang1510.github.io/OmniGlue/ 现如今,大多数现有的局部特征匹配研究仍旧集中在有大量训练数据的特定视觉领域,当前的模型难以泛化到其他领域,OmniGlue是首个以泛化为核心原则设计的可学习图像匹配器,增强了对训练时未可见领域的泛化能力。
2、Methodology
2.1 Framework

OmniGlue利用视觉基础模型DINOv2的广泛知识来指导特征匹配效果,通过一个新颖的关键点位置引导注意力机制,将空间和外观信息分离,从而增强匹配描述符。与此同时,它还采用了SuperPoint进行关键点检测和特征提取,并构建了密集链接的图像内和图像间的关键点图。再通过自注意力和交叉注意力机制进行信息传播,同时仅使用关键点位置信息引导,避免了对训练分布的过度依赖。最终,通过优化的匹配层生成两个图像中的关键点映射。
- DINOv2:是一种用于在大型图像数据集上预训练图像编码器,以获得具有语义的视觉特征。这些特

最低0.47元/天 解锁文章
2594

被折叠的 条评论
为什么被折叠?



