LoFTR Detector-Free Local Feature Matching with Transformers 环境配置

LoFTR配置运行: Detector-Free Local Feature Matching with Transformers ubuntu18.04 预训练模型分享 刚装好系统的空白系统ubuntu18.04安装,首先进入 软件与更新 换到国内源。 1.anaconda 3.5.3 安装 Index of /anaconda/archive/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirrorhttps://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/ 1.1 下载完成后运行安装软件: bash Anaconda3-5.3.0-Linux-x86_64.sh 1.2 ... 阅读详情

LoFTR: Detector-Free Local Feature Matching with Transformers 环境配置

一、环境配置及文件下载

1.文件下载

源码下载链接:https://zju3dv.github.io/loftr

相关模型下载链接: https://pan.baidu.com/s/1QLGxLspQ_aia_MbZKAunig 密码: 5h8n

2.环境配置
  • 将文件路径切换到解压后的源码文件夹中执行以下命令
# For full pytorch-lightning trainer features (recommended) 过程漫长,需要等待下载···
conda env create -f environment.yaml  
conda activate loftr

# For the LoFTR matcher only
pip install torch einops yacs kornia

二、运行demo

1.下载相关代码
cd src/loftr/utils  
wget https://raw.githubusercontent.com/magicleap/SuperGluePretrainedNetwork/master/models/superglue.py 

注意:此处需要修改hosts文件,具体命令如下:

sudo gedit /etc/hosts

#将以下内容添加进hosts文件,点击保存,注意此处的IP地址不一定可以使用,建议去https://google.com.ipaddress.com/drive.google.com查询最新的IP地址
185.199.108.133  raw.githubusercontent.com

/etc/init.d/networking restart
2.运行demo
cd demo
./run_demo.sh
#开启摄像头
 python demo_loftr.py --weight ../weights/outdoor_ds.ckpt  --input ../testdata/scannet_test_1500/npu/color --save_video  --save_input
 python demo_loftr.py --weight ../weights/outdoor_ds.ckpt  --input ../testdata/megadepth_test_1500/Undistorted_SfM/0015/images  --save_video --save_input

LoFTR:Detector-Free Local Feature Matching with Transformers 本文提出一种新的图像局部特征匹配方法(关键点匹配);与传统方法(特征检测-描述符-匹配)不同,本文首先在粗粒度上进行像素级密集匹配然后再细粒度进行优化。本文在Transformer中使用自注意层(self attention layer)和交叉注意层(cross attention layer)来获取两个图像的特征描述符;在室内数据集和室外数据集上实验,表明,LoFTR很大程度上优于现在的方法。现有的匹配方法大多数包含三个阶段:特征检测-特征描述-特征匹配; 阅读详情

相关推荐

论文阅读《LoFTR: Detector-Free Local Feature Matching with Transformers》

论文地址:https://arxiv.org/pdf/2104.00680.pdf 代码地址:https://github.com/zju3dv/LoFTR 背景 模型结构 损失函数 实验结果

薛定谔的猫头咕咕咕 7590

论文笔记:LoFTR: Detector-Free Local Feature Matching with Transformers

摘要:detect-free, 没有检测特征点,模型直接输出匹配对,利用transformer的全局注意力,可以较好的对低纹理图片和相似区域进行匹配 方法: 1.使用resnet+FPN提取分辨率为 1/8的粗略特征图以及 1/2的精细特征图 2.Positional Encoding 3. 输入至粗特征提取transformer1提取匹配特征:包含自注意力和交叉注意力:Self-attention and Cross-attention Layers 4. 粗级别的匹配,使用乘积的方式先计算所有位置的匹

qq_37516798的博客 8629

稀疏纹理也能匹配 LoFTR: Detector-Free Local Feature Matching with Transformers

LoFTR: Detector-Free Local Feature Matching with Transformers 浙江大学 Authors:Jiaming Sun1,2∗ Zehong Shen1∗ Yuang Wang1∗ Hujun Bao1 Xiaowei Zhou1† Code:https://zju3dv.github.io/loftr/ location: 202104 Transformer Abstract 提出了一种新的局部图像特征匹配方法。提出先在粗层次(Coarse)上建立像

3540

带你入门多目标跟踪(一)领域概述

现在从目标检测和单目标跟踪方向转来做多目标跟踪的小伙伴应该有不少,但由于多目标跟踪任务本身的复杂性,导致其入门会比目标检测与单目标跟踪困难不少。再加上论文分布在各个会议,开源代码较少,都造成了多目标跟踪的研究门槛较高。本文旨在带领大家入门多目标跟踪,了解多目标跟踪领域的发展概况,让大家更方便直观地理解这个问题。 1. 简介 多目标跟踪,即MOT(Multi-Object Tracking),顾...

Nieson2012的专栏 1万+

LoFTR:“ LoFTR的代码

LoFTR:与变压器互不影响的无检测器局部特征 | LoFTR:与变压器互不干扰的本地特征匹配*,*, *,,CVPR 2021 代码发布ETA 我们计划在接下来的一周内发布仅推理的代码和预训练的模型,敬请期待。 用于数据预处理,培训和验证的整个代码库正在进行重大重构,并将于6月左右发布。 如果您希望收到代码发布的通知,请订阅。 同时,在中欢迎对该文件进行。 引文 如果您发现此代码对您的研究有用,请使用以下BibTeX条目。 @article{sun2021loftr, title={{LoFTR}: Detector-Free Local Feature Matching with Transformers}, author={Sun, Jiaming and Shen, Zehong and Wang, Yuang and Bao, Hujun and Zhou, Xiao

testdata/megadepth_test_1500.tar

testdata/megadepth_test_1500.tar

LoFTR自己动手训练,这可能是全网你能找到唯一的训练教程了

最近在研究LoFTR,一种基于Transformer的特征点提取和匹配方法,运行了Demo在给定的测试集上效果很好,但是我发现这些数据都存在一个明显的特点,即匹配的对象都是针对同一个物体进行的特征提取和匹配,而我想将这种方法应用于无人机摄影测量,不清楚LoFTR在连续图像之间的匹配情况如何,不过感觉应该可行,需要修改一下预测的pipeline。

qq_42940160的博客 1万+

使用广播星历进行 GPS 卫星位置的计算

目录1.计算卫星运动的平均角速度 n2.计算观测瞬间卫星的近地点角3.计算偏近点角4.计算真近点角 f5.计算升交角距 6.计算摄动改正项7.进行摄动改正 8.计算卫星在轨道面坐标系中的位置9.计算观测瞬间升交点的经度 L10.计算卫星在瞬时地球坐标系中的位置11.计算卫星在协议地球坐标系中的位置使用广播星历进行GPS卫星位置的计算的详细步骤如下:关于在广播星历中各参数的分布情况可以参考下图:首先根据广播星历中给出的参数 计算参考时刻(TOE) 的平均角速度 式中,GM为万有引力常数 G 与地球总质量

qq_43381998的博客 5568

LoFTR快速入门指南:10分钟内搭建你的第一个特征匹配演示

想要体验最先进的图像特征匹配技术吗?LoFTR(Local Feature Matching with Transformers)是一个基于Transformer的检测器自由局部特征匹配算法,能够在复杂场景下实现精准的特征点匹配。本文将为你提供完整的LoFTR快速入门指南,帮助你在10分钟内搭建并运行第一个特征匹配演示!🚀 ## 为什么选择LoFTR特征匹配? LoFTR是CVPR 2021

gitblog_00746的博客 654

DFT知识点扫盲——DFT scan chain

实际在项目中synccell一般直接上ULVT,既然是SDF,就是带Scan接口的DFF,SN (set negtive)是低置位,RP(reset positive)是高复位,既没有SN也没有RP的就是无复位寄存器。1:定义:满足可测试性设计(DFT),将设计中所有的触发器连接到一条或者若干条链上,称为scan chain,将一个复杂的时序电路转换为简单的组合电路进行测试,这一步是在逻辑综合(DC)中实现。当SE=1当SI=1时,电路进入scan状态,当SI=0时,电路工作在normal状态。

笨蛋大乌龟的博客 4936

从DC到DCG:手把手教你搭建物理感知综合流程(含DEF文件处理避坑指南)

本文详细介绍了从Design Compiler(DC)过渡到DC Topographical(DCT)和DC Graphical(DCG)的完整操作框架,特别针对DEF文件处理提供避坑方案。通过环境准备、工具升级、DEF文件处理、DCG综合配置等步骤,帮助开发者高效应对28nm以下工艺节点的物理感知综合挑战,显著提升时序收敛效率。

weixin_27966471的博客 381

LoFTR训练完全指南:从数据准备到模型优化

LoFTR(Detector-Free Local Feature Matching with Transformers)是一种基于Transformer的无检测器局部特征匹配方法,在计算机视觉领域取得了突破性进展。本指南将详细介绍如何从零开始训练LoFTR模型,包括数据准备、环境配置、训练策略和模型优化技巧。 ## 📊 数据准备与数据集配置 ### 下载训练数据集 LoFTR支持在Sca

gitblog_01153的博客 564

anaconda安装-超详细版

文章目录一、anaconda安装1.1 anaconda安装地址1.2 安装详细步骤检验安装是否成功更改conda源(后续安装第三方库可以加快速度) 一、anaconda安装 Anaconda 是一个用于科学计算的 Python 发行版,支持 Linux, Mac, Windows, 包含了众多流行的科学计算、数据分析的 Python 包。装anaconda,就不需要单独装python了。 anaconda优点: 1、anaconda里面集成了很多关于python科学计算的第三方库,主要是安装方便,而p

in546的博客 25万+

LoFTR: Detector-Free Local Feature Matching with Transformers

网址大多数现有的匹配放大都是有三个阶段工作:特征点检测、特征点描述和特征点匹配。然而,当在低纹理区域、重复模式、视角变化、光照变化和运动模糊等情况下难以提取可重复兴趣点,进而会导致特征点匹配失败。LoFTER首先通过对图像进行卷积下采样以及上采样等操作,获得在原始图像1/8维度处的粗粒度特征表示和1/2维度处的细粒度特征表示;然后,将粗粒度特征表示进行Transformer特征提取;将得到的特征表示图进行特征匹配,获得粗匹配;

Word_And_Me_的博客 2607

PTA 7-8 暴力小学(二年级篇)-求出4个数字 (10分)java

PTA 7-8 暴力小学(二年级篇)-求出4个数字 (10分)java 小博是新城小学二年级学生,这孩子人很老实,数学、语文成绩都是中等。不过一旦坐在电脑前,写起代码来,则有些霸气侧漏,尤其擅长各种暴力方法。本题就是数学莫老师的题目之一,请你和小博一起暴力求解吧。 输入格式: 第一行给出这个和N(图中例子的和N为2000)。 输出格式: 第一行输出所有解的数目K,随后K行按照DCBA 4位数字从...

qryzhfj的博客 2188

交换机背板带宽、交换容量与包转发率到底是啥?

在网络工程中,交换机是核心设备之一,而关于它的性能指标,背板带宽、交换容量、以及包转发率往往成为人们衡量其性能的重要参数。这些术语的定义、关系、以及在实际场景中的应用,都对交换机的选型与部署有着重要意义。本文将为您全面解读这些概念,帮助您深入了解交换机的核心性能指标。

网络技术联盟站 1549

【CVPR2021】LoFTR: Detector-Free Local Feature Matching with Transformers

论文链接:LoFTR: Detector-Free Local Feature Matching with Transformers | IEEE Conference Publication | IEEE Xplore代码:zju3dv/LoFTR: Code for "LoFTR: Detector-Free Local Feature Matching with Transformers", CVPR 2021, T-PAMI 2022 (github.com)We present a novel m

Prettybritany的博客 1606

YOLO26改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进

1️⃣ 什么!不知道如何改进模型⁉️ 本专栏已更新260多种不同的改进方法,所使用并改进的每一个模块均包含详细的模块分析、原理讲解、个人总结、多种改进方式以及完整的修改流程,所有改进100%可直接运行,性价比极高。2️⃣ 找不到合适的模块⁉️ 所有改进点均为近三年顶会,顶刊提出的先进算法,将其融入到中,并进行二次创新,新颖度高,创新度高,能够适应不同的任务场景。3️⃣ 不确定自己改进的步骤、结果是否正确⁉️ 订阅专栏即可进群享受模型训练、模型改进、论文写作、投稿选刊,从入门到论文的各种答疑内容,非常适合新手

Limiiiing的博客 6360

LoFTR: Detector-Free Local Feature Matching with Transformers 2021

核心思想:本文的目的是为了解决传统匹配的时候detector不鲁棒的问题,例如下图,上边是本文匹配结果,下边是superglue匹配结果: 可以认为是在superglue上的简单改进 整体pipeline: 如下图所示,整体pipeline分为四个模块: 网络输入两张待匹配的image,输出最终的local feature的匹配结果 1> local feature 和传统的dee...

u010260681的博客 5891

运动想象 (MI) 分类学习系列 (19) : EEG-TransNet

本文提出了一种基于注意力机制的卷积神经网络(EEG-TransNet),用于运动想象脑电图(MI-EEG)解码。该方法创新性地通过平均池化和方差池化提取多模态时间信息,并结合自注意力模块捕获长期依赖关系。消融实验表明,方差池化比最大池化更有效(p<0.05),且注意力模块和卷积编码器对特征判别性至关重要。可视化分析验证了该方法能学习到更具判别性的紧凑特征。该工作为MI-EEG解码提供了新的多尺度时间信息融合视角,代码已开源。

走在深度学习前沿的小宋 358

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

LoFTR: Detector-Free Local Feature Matching with Transformers

本文提出了一种新的局部图像特征匹配方法。首先在粗粒度上建立图像特征的检测、描述和匹配,然后在精粒度别上细化亚像素级别的密集匹配,而不是依次执行图像特征检测、描述和匹配。与使用cost volume来搜索对应关系的密集方法相比,本文借鉴Transformer使用了自注意层和互注意层来获得两幅图像的特征描述符。这种方法提供的全局接受域使得能够在纹理较少的区域产生密集匹配。

胭脂草的ABC博客 2481

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

CVPR2021配准算法LoFTR的配置(LoFTR: Detector-Free Local Feature Matching with Transformers)

1、论文下载地址: https://arxiv.org/pdf/2104.00680.pdf 2、代码下载地址: https://github.com/zju3dv/LoFTR 3、新建虚拟python环境并激活 conda create -n LoFTR python=3.7 source activate LoFTR 4、安装需要的库 pip install torch einops yacs kornia opencv-python matplotlib 5、下载额外库 ...

博博有个大大大的Dream 1万+

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

LoFTR: Detector-Free Local Feature Matching with Transformers—特征点匹配算法系列

个人的理解是第一次先做自注意力是为了获取全局的信息,之后我们在做交叉注意力进行匹配,重复的做自注意力是为了告诉后面的特征点已匹配的部分信息,避免重复的匹配。对这142个已经匹配的区域,再做实际点的微调,也就是25个点再最匹配的。现在我们完成的是粗粒度的匹配,也就是说经过Transform之后完成的实际上是区域之间的匹配问题。但是区域之间的点的匹配会存在一定的偏差。现在我们要算这25个点与其中心点的关系,相当于我要以中心点为圆心,算周围点跟它的概率关系,这样会得到一个热度图例如最后输出了142。

xiaoxu的博客 2688

Transformer-图像匹配-CVPR2021-LoFTR: Detector-Free Local Feature Matching with Transformers

LoFTR的提出,是将Transformer模型的注意力机制在特征匹配方向的应用,Transformer的提取特征的机制,在自身进行,本文提出可以的两张图像之间进行特征计算,非常适合进行特征匹配。

404 Not Found 1814

配置LoFTR: Detector-Free Local Feature Matching with Transformers,运行demo

https://arxiv.org/pdf/2104.00680.pdfGitHub - zju3dv/LoFTR: Code for "LoFTR: Detector-Free Local Feature Matching with Transformers", CVPR 2021, T-PAMI 2022 此过程耗费时间长,请耐心等待。链接:https://pan.baidu.com/s/1_eVrFVY5gapQ9CwPH4wi3w?pwd=vdnx 提取码:vdnx 下载完成后,将文件放入Lo

qq_53970445的博客 1482

LoFTR最佳实践:工业级应用场景与性能调优

LoFTR(Detector-Free Local Feature Matching with Transformers)是一种无需检测器的局部特征匹配算法,基于Transformer架构实现高精度图像特征匹配。作为计算机视觉领域的突破性技术,LoFTR在工业级应用中展现出卓越的性能,特别适用于三维重建、视觉SLAM、增强现实和图像拼接等场景。本文将深入探讨LoFTR的核心优势、工业级应用场景以及

gitblog_00478的博客 1024
上一篇: python 坐标系转化
下一篇: STANet 基于时空自注意力的遥感图像变化检测模型
南乔枝6060
博客等级 码龄8年 1160粉丝 32原创
评论 5
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值