【CVPR2024】Efficient LoFTR: 高效的 LoFTR：具有类似稀疏的速度的半密集局部特征匹配

最新推荐文章于 2025-05-05 09:08:33 发布
最新推荐文章于 2025-05-05 09:08:33 发布
阅读量3.3k 收藏 27
点赞数 23
CC 4.0 BY-SA版权
分类专栏： # 深度学习 文章标签： 计算机视觉 人工智能 opencv
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/yohnyang/article/details/140791175

Efficient LoFTR: 高效的 LoFTR：具有类似稀疏的速度的半密集局部特征匹配

Efficient LoFTR realtime_demo

0.摘要

\qquad 我们提出了一种新的方法来有效地产生跨图像的半密集匹配。以往的无探测器匹配器LoFTR在处理大视点变化和纹理差的场景下表现出了出色的匹配能力，但效率较低。我们重新审视了它的设计选择，并得出了效率和准确性的多重改进。一个关键的观察是，由于共享的局部信息，在整个特征映射上执行转换是冗余的，因此我们提出了一种具有自适应令牌选择的聚合注意力机制以提高效率。
此外，我们发现LoFTR的精细相关模块存在空间方差，这不利于匹配精度。提出了一种新的

最低0.47元/天 解锁文章

200万优质内容无限畅学
CVPR‘24开源 | LoFTR官方升级版！效率提高2.5倍！精度超越LightGlue！
3D视觉工坊
03-10 621
我们提出了一种新颖的方法，用于在图像之间高效地产生半稠密匹配。先前无检测器的匹配器LoFTR已经展示出在处理大视角变化和弱纹理场景中具有显著的匹配能力，但效率较低。我们重新审视了其设计选择，并为效率和准确性提出了多个改进。一个关键观察是，由于共享的局部信息，对整个特征图执行变换器是多余的，因此我们提出了一种带自适应令牌选择的聚合注意机制来提高效率。此外，我们发现LoFTR的细粒度相关模块存在空间变化，这对匹配精度是不利的。我们提出了一种新颖的两阶段相关层，以实现准确的亚像素对应，从而提高准确性。
深度学习论文: Efficient LoFTR: Semi-Dense Local Feature Matching with Sparse-Like Speed
mingo_敏
05-08 1803
本文介绍了一种基于LoFTR改进的新型半稠密局部特征匹配器。作者通过重新审视设计，提出了既提升效率又增强匹配精度的改进。主要改进包括：利用局部信息的相似性，避免在完整特征图上执行Transformer，而是采用聚合注意力模块在减少的令牌上执行，从而提高了效率和性能。此外，还设计了一个两阶段相关层，解决了LoFTR中的位置差异问题，进一步提升了匹配精度。该方法相比LoFTR效率提升约2.5倍，匹配精度更高，并且作为半稠密匹配方法，其效率可与稳健的稀疏特征匹配器LightGlue相媲美。
Efficient LoFTR论文阅读（特征匹配）
weixin_45409613的博客
08-29 2764
本文提出了一种有效产生跨图像半密集匹配的新颖方法。之前的无检测器匹配器LoFTR在处理大视点变化和纹理贫乏的场景中表现出了出色的匹配能力，但效率较低。我们重新审视其设计选择，并在效率和准确性方面进行了多项改进。一个关键的观察是，由于共享本地信息，在整个特征图上执行变换器是多余的，因此我们提出了一种具有自适应标记选择的聚合注意力机制以提高效率。此外，我们发现LoFTR的精细相关模块中存在空间方差，这不利于匹配精度。提出了一种新颖的两级相关层来实现精确的子像素对应以提高精度。
【论文笔记】Efficient LoFTR: Semi-Dense Local Feature Matching with Sparse-Like Speed
Word_And_Me_的博客
10-04 2575
原因：MNN 匹配不存在空间差异，因为匹配是通过直接索引得分最高的像素来选择的，但无法实现亚像素精度。另外，双softmax在训练过程中至关重要，而在推理中，不使用softmax，直接使用分数矩阵S进行MNN匹配仍然可以得到很好的效果。对于之前的方法，都是直接在整个粗特征图上进行注意力变换，vanilla attention（香草注意力）代替linear attention来提高效率，但是模型能力达不到最优，这里文中提出高效的聚合注意力机制。根据粗匹配提取的精细局部特征块，搜索高精度的亚像素匹配。
2024年图像配准最新算法EfficientLoFTR(cvpr2024) 【补丁For 双鱼眼全景视频拼接】
hard_level的博客
08-18 1847
图像最新SOTA特征点检测与匹配算法
EfficientLoFTR: 项目介绍、快速启动、应用案例与生态项目
gitblog_00827的博客
04-02 569
EfficientLoFTR: 项目介绍、快速启动、应用案例与生态项目 1. 项目介绍 EfficientLoFTR是一种半密集局部特征匹配技术，具有稀疏特征匹配的速度优势。该项目是CVPR 2024的研究成果，由Yifan Wang, Xingyi He, Sida Peng, Dongli Tan, 和Xiaowei Zhou共同研发。EfficientLoFTR旨在提高多模态匹配的性能，适用...
【论文阅读】特征匹配之Efficient LoFTR模型
图像处理、计算机视觉相关技术
02-18 1333
我们提出了一种新方法，可以高效地生成图像间的半密集匹配。之前的免检测器匹配器 LoFTR 在处理大视角变化和纹理不佳的情况时表现出了出色的匹配能力，但效率较低。我们重新审视了它的设计选择，并对效率和准确性进行了多方面的改进。一个重要的观察结果是，由于共享局部信息，在整个特征图上执行变换器是多余的，因此我们提出了一种具有自适应标记选择功能的聚合注意力机制，以提高效率。此外，我们发现 LoFTR 的精匹配模块中存在空间方差，这不利于匹配精度。提出了一种新的两阶段相关层，以实现准确的亚像素对应，从而提高精度。
计算机视觉与深度学习 ｜ 图像匹配算法综述
最新发布
尘世冰封的专栏
05-05 338
图像匹配是计算机视觉中的核心任务，旨在找到两幅或多幅图像之间的对应关系（如关键点、区域或整体内容）。其应用包括目标识别、图像拼接、三维重建、SLAM（即时定位与地图构建）等。以下从算法分类、原理、公式和代码实现角度展开。
EfficientLoFTR：高效半稠密局部特征匹配
gitblog_00682的博客
03-27 470
EfficientLoFTR：高效半稠密局部特征匹配 项目介绍 EfficientLoFTR是一个基于深度学习的半稠密局部特征匹配项目，它以类似稀疏特征匹配的速度实现了高效的局部特征提取和匹配。EfficientLoFTR的核心优势在于其速度和准确性，使其在计算机视觉领域具有广泛的应用前景。 项目技术分析 EfficientLoFTR的核心技术是半稠密局部特征匹配，它通过设计一种新的网络结构，结合...
CVPR2021配准算法LoFTR的配置（LoFTR: Detector-Free Local Feature Matching with Transformers）
热门推荐
博博有个大大大的Dream
10-04 1万+
1、论文下载地址： https://arxiv.org/pdf/2104.00680.pdf 2、代码下载地址： https://github.com/zju3dv/LoFTR 3、新建虚拟python环境并激活 conda create -n LoFTR python=3.7 source activate LoFTR 4、安装需要的库 pip install torch einops yacs kornia opencv-python matplotlib 5、下载额外库 ...
EfficientLO代码解析(2)
m0_63629923的博客
11-27 1792
来看EfficientLO的网络。网络设计主要是在pwclo_model.py文件里面。发现自己对cnn的理解不够，先看了这篇文章。
eloftr特征匹配结果可视化
qq_52039107的博客
07-23 1773
测试运行：由于weights文件中只有outdoor权重，因此以室外数据集测试为主，命令如下。
不同特征点+LightGlue在不同场景下分析
qq_51745206的博客
01-31 2511
SuperPoint提取的特征点更符合我们直观的印象（例如边缘、折角等），但是提取的特征点较少，尤其是在稀疏纹理之下，所以即使匹配成功率有60%以上，仍然可能无法满足实际应用需求。SIFT提取的特征点更多，但是其描述子可能稳健性不够，所以在相同场景下匹配成功的数目与SP差不多。但是从DISK看出，场景中仍存在着更多有效的特征点，在困难场景（模糊、昏暗等）下能够成功使用。对于匹配器来说，除了有遮挡情况下，基本匹配成功率都在60%以上。随着稳健的特征点的数目增多，成功匹配的数目也增多。
探索Superpoint与LightGlue：神奇的图像拼接技术
gitblog_00096的博客
04-06 1823
探索Superpoint与LightGlue：神奇的图像拼接技术 去发现同类优质开源项目:https://gitcode.com/ 图像示例：由Superpoint和LightGlue驱动的图像拼接结果 项目简介 在中，作者融合了Superpoint和LightGlue这两个强大的深度学习工具，创建了一种创新的图像拼接方案。通过自动特征点检测、匹配和优化，该解决方案能够将多张照片无缝地融合成...
基于superpoint/DISK/SIFT+ LightGlue 的图像特征匹配与可视化工具
lrx6666666的博客
03-07 1226
特征提取与匹配：运用SuperPoint、disk、sift等作为特征提取器，LightGlue作为特征匹配器，对输入的图像对进行特征提取与匹配操作。可视化输出：把匹配结果以合并原始图像、特征点分布、特征点匹配连线、特征点密度热力图、匹配分数热力图以及匹配密度热力图等多种可视化形式保存下来。批量处理：支持对多个图像对进行批量处理，并且将每个图像对的结果存于独立的子目录中。
EfficientLO论文阅读
m0_63629923的博客
11-13 337
研0，前段时间开组会老师提到可以写blog记录自己的所想，所以刚开始尝试写blog，希望自己日后能坚持。
LoFTR： Detector-Free Local Feature Matching with Transformers
Word_And_Me_的博客
05-26 2090
网址大多数现有的匹配放大都是有三个阶段工作：特征点检测、特征点描述和特征点匹配。然而，当在低纹理区域、重复模式、视角变化、光照变化和运动模糊等情况下难以提取可重复兴趣点，进而会导致特征点匹配失败。LoFTER首先通过对图像进行卷积下采样以及上采样等操作，获得在原始图像1/8维度处的粗粒度特征表示和1/2维度处的细粒度特征表示；然后，将粗粒度特征表示进行Transformer特征提取；将得到的特征表示图进行特征匹配，获得粗匹配；
LoFTR自己动手训练，这可能是全网你能找到唯一的训练教程了
qq_42940160的博客
09-03 6081
最近在研究LoFTR，一种基于Transformer的特征点提取和匹配方法，运行了Demo在给定的测试集上效果很好，但是我发现这些数据都存在一个明显的特点，即匹配的对象都是针对同一个物体进行的特征提取和匹配，而我想将这种方法应用于无人机摄影测量，不清楚LoFTR在连续图像之间的匹配情况如何，不过感觉应该可行，需要修改一下预测的pipeline。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

明月醉窗台

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值