SOLD2算法详解之1 backbone(CVPR2021 源码解析)

SOLD2是ETH的 Self-supervised Occlusion-aware Line Description and Detection,它是一种多视角的线检测,线匹配算法,可以处理遮挡下的线匹配。

以往特征匹配都是基于点的,比如SIFT,SURF等,而ETH提出了基于线的特征匹配,由于是基于神经网络,所以不需要手动设计特征,而且基于自监督学习,不需要人工标注。

这里先不把重点放在自监督,先看一下如何从视角不同的图像中提取线特征,线检测和匹配,走完整个检测和匹配的流程。

算法流程基于源码和测试样例整理。

测试样例中,input为不同视角的两张[1, 1, 496, 744]的图像。如下

插入图片

以img1为例走一遍流程,它首先会经过名为SOLD2NET的神经网络,得到3个输出:
1.检测到的特征点(junctions)
2.检测到

PyTorch、CPU、GPU 与 CUDA 深度解析:一次张量加法背后的四层世界 本文厘清PyTorch、CPU、GPU与CUDA的层级关系:PyTorch是编程接口,CPU负责控制与调度,CUDA是让CPU指挥GPU的并行编程平台,GPU则是实际执行计算的加速器。四者非并列,而是分层协作。以x + y为例,从Python前端到算子分发、CUDA运行时,最终在GPU硬件上执行。关键认知包括:GPU并非万能加速器,小任务因开销大反而更慢;.to('cuda')仅搬运数据,不改变代码逻辑;算子性能受算术强度与内存带宽制约。理解此链路是优化深度学习性能的前提。 阅读详情

相关推荐

SOLD2算法详解之2: 特征点检测,点NMS(CVPR 2021)

sold2算法中的特征点检测对应了junction_decoder部分 input的image经过Hourglass net的backbone之后,过一个junction_decoder的小网络, 网络结构如下 conv3x3, s=2, p=1 conv1x1 input image size = [1, C, H, W] junction_decoder output size = [1, 65, H/8, W/8] 这个65是什么意思呢,1~64表示的是8x8 patch内有特征点的位置标1,其余是

蓝羽飞鸟的博客 1168

SOLD2算法之3: 特征点与heatmap结合检测有效线段(CVPR 2021)

input image:[1, 1, H, W],经过backbone net后为[1, 256, H/4, W/4] heatmap_decoder用于检测出线段的heatmap 先看heatmap_decoder,它的结构如下 conv 3x3, s=1, p=1 pixelShuffel(2) 这个block出现2次,然后接一个conv 1x1 PixelShuffel起了重要的上采样及改变channel的作用。 backbone net出来的channel=256被两个pixelShuffel(2.

蓝羽飞鸟的博客 846

SOLD2算法之4: line matching,遮挡问题(CVPR2021 源码解析)

当两张图片中都检测到线段之后,就要进行线段的匹配。 回想特征点匹配时,是用描述子descriptor计算距离进行匹配, 直线也是这样。 直线的descriptor是用网络得到的。 input image:[1, 1, H, W],经过backbone net后为[1, 256, H/4, W/4] descriptor_decoder由conv3x3 (s=1, p=1) 和conv1x1组成 得到的descriptor output为[1, 128, H/4, W/4] 那检测到的线段和这个descri

蓝羽飞鸟的博客 837

SOLD2:用于特征线检测和描述的联合深度网络

SOLD²-自我监督的遮挡感知线描述和检测 该存储库包含以下文件的实现: ,JT。 Lin *,R.Pautrat *,V.Larsson,M.Oswald和M.Pollefeys(在CVPR 2021年发表)。 SOLD²是一种深线段检测器和描述符,无需手工标记的线段即可进行训练,即使在存在遮挡的情况下,也可以稳固地匹配线。 演示版 在存在遮挡的情况下进行匹配: 搭配移动相机: 用法 安装 我们建议在Python环境(例如venv或conda)中使用此代码。 以下脚本通过pip安装必要的要求: pip install -r requirements.txt 通过修改文件config/project_config.py设置数据集和实验路径(您将在其中存储数据集和实验的检查点)。 必须同时设置变量DATASET_ROOT和EXP_PATH 。 您可以在下载我们在培训和测试期间使用的

sold2直线检测算法的模型

sold2直线检测算法的模型

车载与安防项目实战:如何用RK3588搭配NVP6158C实现4路AHD摄像头BT1120接入与同步预览

本文详细解析了基于RK3588处理器与NVP6158C解码芯片实现4路AHD摄像头BT1120接入与同步预览的技术方案。针对车载环视和安防监控场景,重点探讨了硬件架构设计、BT1120接口配置、多路同步机制及Android HAL适配等核心问题,提供了从底层驱动到上层应用的完整实现路径,为相关领域的工程实践提供可靠参考。

weixin_30571465的博客 482

MIPI转LVDS芯片调试实战:从Kernel到UEFI的完整点亮流程

本文详细解析了MIPI转LVDS芯片调试的全流程,从Kernel驱动开发到UEFI早期初始化,涵盖I2C通信、电源时序控制等核心挑战。通过LT9211芯片实战案例,提供设备树配置、电源时序优化及显示异常排查等实用技巧,助力工程师高效完成屏幕调试工作。

weixin_30314813的博客 449

【180609】剑侠情缘_整套源码+地图编辑器(单机学习例子)

剑侠情缘_整套源码+地图编辑编(单机学习例子)完整源码下载地址:点击下载备用下载地址:点击下载

资源小站 6277

POSS-NH2:氨基化笼型聚半倍硅氧烷的合成与应用探索

本文详细介绍了氨基化笼型聚半倍硅氧烷(POSS-NH2)的合成方法与应用。通过水解缩合与官能团转化两种主流路线,可制备出这种关键的纳米增强材料。其核心价值在于通过表面的氨基与树脂基体形成化学键合,从而显著提升复合材料的热稳定性和机械性能。文章以环氧树脂改性为例,展示了POSS-NH2在航空航天、电子封装等高性能领域的应用潜力。

grpc6streamer的博客 498

WEB浏览器视频流播放方案

基于Media Source Extensions播放视频流 浏览器播放视频的几种方法 一、H5 video标签 在浏览器播放视频,可以使用HTML5原生的video标签。但其播放的格式使用一定限制的,目前video只支持三种格式WebM、Ogg、MP4。 WebM:WebM 文件使用 VP8 视频编解码器和 Vorbis 音频编解码器 Ogg :Ogg 文件使用 Theora 视频编解码器和 Vorbis音频编解码器 MP4: MPEG 4文件使用 H264 视频编解码器和AAC音频编解码器 上面三种

machh的专栏 2380

SerDes系列之如何选择AC耦合电容

交流耦合电容用于隔离PCB互连时的直流分量(Common-mode voltage),同时传递交流分量(Voltage swing),其作用类似于一个高通滤波器,但是,如果电容容值选取不当,使用过程中会产生信号质量问题,典型的应用场景:当包含相同的长串1或0的NRZ数据应用于该高通滤波器时,会发生低频电压跌落,导致低频模式相关抖动(PDJ)。

一只豌豆象的博客 2350

电路板保险丝如何选型

在电路板保险丝选型过程中,需要考虑多个因素以确保其适合特定的电路需求。最后,经过以上程序选定的样品需要在实际的电路中进行测试,以验证所选择的保险丝是否合适。

weixin_57010826的博客 1310

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

上一篇: leetcode 344. Reverse String(字符串逆序)
下一篇: leetcode 680. Valid Palindrome II(有效的回文字符串II)
蓝羽飞鸟
博客等级 码龄8年 1万+粉丝 727原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

蓝羽飞鸟

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值