SOLD2算法详解之1 backbone（CVPR2021 源码解析）

已于 2022-04-27 14:52:21 修改
阅读量2.1k 收藏 4
点赞数
CC 4.0 BY-SA版权
分类专栏： 源码解读系列 文章标签： pytorch 计算机视觉
于 2022-04-01 20:11:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/level_code/article/details/123898243
本文深入解析SOLD2算法，一种自我监督的、遮挡感知的线描述和检测方法，尤其关注其backbone网络结构。通过SOLD2NET，算法能够从不同视角的图像中提取线特征，包括检测到的特征点、直线heatmap和描述子。文章以源码和测试样例为基础，详细介绍了线检测和匹配的流程，涉及HourglassNet、Resnet的Bottleneck结构，并阐述了如何处理部分遮挡的直线问题。

SOLD2是ETH的 Self-supervised Occlusion-aware Line Description and Detection，它是一种多视角的线检测，线匹配算法，可以处理遮挡下的线匹配。

以往特征匹配都是基于点的，比如SIFT，SURF等，而ETH提出了基于线的特征匹配，由于是基于神经网络，所以不需要手动设计特征，而且基于自监督学习，不需要人工标注。

这里先不把重点放在自监督，先看一下如何从视角不同的图像中提取线特征，线检测和匹配，走完整个检测和匹配的流程。

算法流程基于源码和测试样例整理。

测试样例中，input为不同视角的两张[1, 1, 496, 744]的图像。如下

插入图片

以img1为例走一遍流程，它首先会经过名为SOLD2NET的神经网络，得到3个输出：
1.检测到的特征点（junctions）
2.检测到

了解本专栏 订阅专栏 解锁全文 超级会员免费看
SOLD2算法详解之2: 特征点检测，点NMS（CVPR 2021）
蓝羽飞鸟的博客
04-04 1115
sold2算法中的特征点检测对应了junction_decoder部分 input的image经过Hourglass net的backbone之后，过一个junction_decoder的小网络， 网络结构如下 conv3x3, s=2, p=1 conv1x1 input image size = [1, C, H, W] junction_decoder output size = [1, 65, H/8, W/8] 这个65是什么意思呢，1～64表示的是8x8 patch内有特征点的位置标1，其余是
SOLD2算法之3: 特征点与heatmap结合检测有效线段（CVPR 2021)
蓝羽飞鸟的博客
04-08 787
input image:[1, 1, H, W]，经过backbone net后为[1, 256, H/4, W/4] heatmap_decoder用于检测出线段的heatmap 先看heatmap_decoder，它的结构如下 conv 3x3, s=1, p=1 pixelShuffel(2) 这个block出现2次，然后接一个conv 1x1 PixelShuffel起了重要的上采样及改变channel的作用。 backbone net出来的channel=256被两个pixelShuffel(2.
SOLD2:用于特征线检测和描述的联合深度网络
05-14
SOLD²-自我监督的遮挡感知线描述和检测 该存储库包含以下文件的实现： ，JT。 Lin *，R.Pautrat *，V.Larsson，M.Oswald和M.Pollefeys（在CVPR 2021年发表）。 SOLD²是一种深线段检测器和描述符，无需手工标记的线段即可进行训练，即使在存在遮挡的情况下，也可以稳固地匹配线。 演示版 在存在遮挡的情况下进行匹配： 搭配移动相机： 用法 安装 我们建议在Python环境（例如venv或conda）中使用此代码。 以下脚本通过pip安装必要的要求： pip install -r requirements.txt 通过修改文件config/project_config.py设置数据集和实验路径（您将在其中存储数据集和实验的检查点）。 必须同时设置变量DATASET_ROOT和EXP_PATH 。 您可以在下载我们在培训和测试期间使用的
SOLD2
weixin_40647655的博客
06-01 844
SOLD2: Self-supervised Occlusion-aware Line Description and Detection 自监督防遮挡线特征描述和检测 特征点是SFM、SLAM、大规模视觉定位和三地重建等计算机视觉任务总的核心。线特征在现实世界中广泛存在，相比于点特征线特征本身有着方向的属性，这能够提供强有力的几何约束。本文的方法能够检测线段并且能够匹配线段和处理部分遮挡。 经典的方法主要是基于计算梯度和人工设计的滤波器来检测线特征，如今深度学习已经能够实现实时鲁邦的线特征检测，主要的研究
SSD目标检测算法Backbone构建（基于keras）
weixin_38495031的博客
04-05 1243
SSD目标检测算法简介： 论文地址：https://arxiv.org/abs/1512.02325 全称:Singel Shot MultiBox Detector(那么为什么不叫SSMD呢，可能因为不太好听吧) SSD属于one-stage目标检测算法，就是目标的分类和检测任务是同时完成的（从始至终都是用一个网络）。 SSD其实是在Yolo上进行了改进：如下图所示，简单来说SSD最明显的特征就...
目标检测算法中的Backbone、Neck和Head（转载）
qq_43781887的博客
04-13 3012
基于深度学习的现在目标检测算法中有三个组件：Backbone、Neck和Head，乍一看很让人不理解： Backbone, 译作骨干网络，主要指用于特征提取的，已在大型数据集(例如ImageNet|COCO等)上完成预训练，拥有预训练参数的卷积神经网络，例如：ResNet-50、Darknet53等 Head，译作检测头，主要用于预测目标的种类和位置(bounding boxes) 在Backone和Head之间，会添加一些用于收集不同阶段中特征图的网络层，通常称为Neck。 简而言之，基于深度学习的
SOLD2算法之4: line matching，遮挡问题（CVPR2021 源码解析）
蓝羽飞鸟的博客
04-09 794
当两张图片中都检测到线段之后，就要进行线段的匹配。 回想特征点匹配时，是用描述子descriptor计算距离进行匹配， 直线也是这样。 直线的descriptor是用网络得到的。 input image:[1, 1, H, W]，经过backbone net后为[1, 256, H/4, W/4] descriptor_decoder由conv3x3 (s=1, p=1) 和conv1x1组成 得到的descriptor output为[1, 128, H/4, W/4] 那检测到的线段和这个descri
精选资源
CVPR 2021 论文和开源代码合集.docx
05-28
1. **Backbone**：基础网络架构是深度学习模型的核心，2021年的论文可能提出了新的网络结构或对现有架构（如ResNet、VGG）的改进，以提高模型的性能和效率。 2. **NAS（神经网络架构搜索）**：自动设计高效的神经...
深度学习图像算法中的网络架构：Backbone、Neck 和 Head 详解
最新发布
weixin_37522117的博客
01-16 3537
摘要：深度学习在图像识别任务（如目标检测、图像分割）中广泛应用，其网络架构通常由Backbone、Neck和Head三部分组成。Backbone（如ResNet、VGG）负责提取多尺度图像特征；Neck（如FPN、PANet）进行多尺度特征融合，增强对不同尺寸目标的检测能力；Head则完成最终预测，输出分类结果或分割掩膜。这三部分协同工作，构成完整的图像处理流程，新方法的不断涌现持续提升着模型的精度和效率。理解这些组件的功能及其相互关系，有助于优化深度学习图像处理模型的设计。
【论文翻译】SOLD2: Self-Supervised Occlusion-Aware Line Description and Detection
EternallyAccompany的博客
03-01 1350
论文：http://arxiv.org/abs/2104.03362 代码：https://github.com/cvg/SOLD2
目标检测算法的大体框架-------backbone、head、neck
微信号：Custom-Software
10-19 1865
一般翻译成“瓶颈”或是“脖子”，这个翻译总感觉有些问题，此结构主要是将backbone上的多个层级的特征图进行融合加工，增强网络的表达能力，同时，neck决定了head的数量，决定了不同尺度的样本如何分配到不同的head；骨干网络也称为主干网络，主要用于特征提取，提取不同尺度、不同感受野下、不同类别的目标特征，以满足目标检测；SPP、ASPP、RFB、FPN、NAS-FPN、Fully-connected FPN、BiFPN等；检测头，主要用于预测目标的种类和位置(bounding boxes)；
【Pytorch论文相关代码】使用SOLD2预训练好的模型检测与匹配线段(自己的数据集)
热门推荐
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
01-18 13万+
文章目录前言使用流程 前言 论文链接：SOLD2: Self-supervised Occlusion-aware Line Description and Detection 论文源码：https://github.com/cvg/SOLD2 使用流程 下载好源码。 安装相关依赖。 下载预训练好的模型文件：sold2_wireframe.tar。github上作者提供的下载链接非常慢，建议使用下面链接下载： 链接：sold2_wireframe.tar ...
SOLD2：深度学习中的稳健特征检测库
gitblog_00047的博客
04-16 443
SOLD2：深度学习中的稳健特征检测库 是一个开源的Python库，专注于提供一种高效且鲁棒的方法来进行单图像中的3D物体识别和定位。这个项目由苏黎世联邦理工学院计算机视觉小组（CVG）开发，旨在简化深度学习在现实世界应用中的对象检测任务。 技术分析 SOLD2的核心是一个基于深度学习的模型，它能够处理各种光照、遮挡和视角变化的情况。库中包含两个关键组件： Feature Detector：采...
Backbone学习笔记
LYBWWP
03-08 1176
backbone的操作思路： 一个实体类集合，当实体发生改变了，触发一个事件。当向集合中添加一个实体时，集合的改变事件被触发。 @{ Layout = "~/Views/_Shanred/_Layout.cshtml"; } (function ($) { //使用匿名函数重载持久化存储。这个属性允许在不抛出异常信息的前提下使用 Model.des
自己整理线段检测方法
诗筱涵的博客
04-27 1618
与以前最好的实时LSD方法TP-LSD-Lite相比，我们的模型(M-LSDtiny)以2.5%的模型达到了具有竞争力的性能，GPU上的推断速度提高了130.5%。2021年，来自苏黎世联邦理工学院和微软的研究者提出了提出了首个联合检测与描述线段的深度网络SOLD2，由于采用了自监督学习，SOLD2不需要对线进行标注，因而可以推广到任一数据集。作者提出了一种新的基于 Transformer 的方法，无需进行边缘检测、也无需端点和线的热力图特征，端到端的直接得到线段的检测结果，也即线段的端点坐标。
妙啊！不怕遮挡的图像线段匹配 SOLD2，还能联合自监督线段检测｜CVPR2021 Oral
3D视觉工坊
04-25 1907
点击上方“3D视觉工坊”，选择“星标”干货第一时间送达作者丨二玖审稿丨邓富城编辑丨极市平台极市导读本文介绍来自苏黎世联邦理工学院和微软的研究者们提出了首个联合检测与描述线段的深度网络：。...
一文理解深度学习backbone、neck和head
奇华资料的博客
09-06 5090
深度学习模型通常由许多层组成，每个层都有自己的功能和任务。的各个部分可以帮助我们更好地理解模型的组成和功能，并且也有助于优化和调试模型。
公众号内容拓展学习笔记（2021.4.22）
xiaoxuebajie的博客
04-22 346
公众号内容拓展学习笔记（2021.4.22） ???? 今日要点 妙啊！不怕遮挡的图像线段匹配 SOLD2，还能联合自监督线段检测｜CVPR2021 Oral ⭐️⭐️ 主要内容：首个联合检测与描述线段的深度网络SOLD² paper: SOLD2: Self-supervised Occlusion-aware Line Description and Detection code: https://github.com/cvg/SOLD2 Tips: 主要贡献提出了首个用于联合
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

蓝羽飞鸟

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值