SOLD2算法详解之2: 特征点检测，点NMS（CVPR 2021）

已于 2022-05-27 13:44:53 修改
阅读量1.1k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 源码解读系列 文章标签： 计算机视觉 pytorch 算法
于 2022-04-04 21:33:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/level_code/article/details/123959717
本文详细介绍了SOLD2算法中特征点检测的过程，包括Hourglass net作为backbone后的junction_decoder小网络结构，如何通过PixelShuffle上采样确定特征点在原图的位置，以及采用点的Non-Maximum Suppression（NMS）来减少密集特征点，优化计算效率。NMS首先根据阈值筛选特征点，然后按分数排序并消除相邻的点，最后保留前topk个点（如topk=300）。

sold2算法中的特征点检测对应了junction_decoder部分
在这里插入图片描述
input的image经过作为backbone的Hourglass net之后，会过一个junction_decoder的小网络，
网络结构如下
conv3x3, s=2, p=1
conv1x1

input image size = [1, C, H, W]
junction_decoder output size = [1, 65, H/8, W/8]

这个65是什么意思呢，1～64表示的是8x8 patch内有特征点的位置标1，其余是0
最后一个65是一个flag，表示这片patch里面有没有特征点
在这里插入图片描述
现在知道了检测出来的特征点输出size是[1, 65, H/8, W/8]，
那要怎么知道特征点在原image中的位置呢。

这个时候要用到上采样，同时还能改变channel的PixelShuffel了（具体原理见链接）。
对应的源码如下


                

                
                
        

    


  


        

                

                  

                  

                  了解本专栏
                  
                  
                    
                  订阅专栏 解锁全文
                   
                  
                    
                    超级会员免费看
                  
                

            
            
            
        


    



                



	

		

			

				
					
SOLD2算法详解之1 backbone（CVPR2021 源码解析）

				
			

			

				

					蓝羽飞鸟的博客
				

				

					04-01
					
					2152
					
				

			

		

		

			
				
SOLD2是ETH的 Self-supervised Occlusion-aware Line Description and Detection，它是一种多视角的线检测，线匹配算法，可以处理遮挡下的线匹配。
以往特征匹配都是基于点的，比如SIFT，SURF等，而ETH提出了基于线的特征匹配，由于是基于神经网络，所以不需要手动设计特征，而且基于自监督学习，不需要人工标注。
这里先不把重点放在自监督，先看一下如何从视角不同的图像中提取线特征，线检测和匹配，走完整个检测和匹配的流程。
算法流程基于源码和测试样例

			
		

	



                

            
              



	

		

			

				
					
SOLD2算法之3: 特征点与heatmap结合检测有效线段（CVPR 2021)

				
			

			

				

					蓝羽飞鸟的博客
				

				

					04-08
					
					787
					
				

			

		

		

			
				
input image:[1, 1, H, W]，经过backbone net后为[1, 256, H/4, W/4]
heatmap_decoder用于检测出线段的heatmap
先看heatmap_decoder，它的结构如下
conv 3x3, s=1, p=1
pixelShuffel(2)
这个block出现2次，然后接一个conv 1x1
PixelShuffel起了重要的上采样及改变channel的作用。
backbone net出来的channel=256被两个pixelShuffel(2.

			
		

	



              


  
              

                


	

		

			

				
					
SOLD2:用于特征线检测和描述的联合深度网络

				
			

			

				

					05-14
				

			

		

		

			
				
SOLD²-自我监督的遮挡感知线描述和检测
该存储库包含以下文件的实现： ，JT。 Lin *，R.Pautrat *，V.Larsson，M.Oswald和M.Pollefeys（在CVPR 2021年发表）。
 SOLD²是一种深线段检测器和描述符，无需手工标记的线段即可进行训练，即使在存在遮挡的情况下，也可以稳固地匹配线。
演示版
在存在遮挡的情况下进行匹配： 
 搭配移动相机：
用法
安装
我们建议在Python环境（例如venv或conda）中使用此代码。 以下脚本通过pip安装必要的要求：
pip install -r requirements.txt
 通过修改文件config/project_config.py设置数据集和实验路径（您将在其中存储数据集和实验的检查点）。 必须同时设置变量DATASET_ROOT和EXP_PATH 。
 您可以在下载我们在培训和测试期间使用的

			
		

	





	

		

			

				
					
SuperPoint 特征点 NMS 代码分析

				
			

			

				

					秋山丶雪绪的博客
				

				

					08-22
					
					4550
					
				

			

		

		

			
				
1. 简介
  SuperPoint 网络中所用到的 NMS 代码部分，输入为 scores，即输入图像每个像素的得分，输出依然是 scores，准特征点位置的得分保留，其余位置的得分置零。
  大体上是根据超参数 nms_radius 使图像每个局部区域都得到一个准特征点，后续再用得分阈值筛选等，去除距离很近的冗余特征点。
SuperPoint 中 forward 部分涉及 NMS 的代码
# Compute the dense keypoint scores
cPa = self.relu(self.c

			
		

	



		

			
		



	

		

			

				
					
SOLD2

				
			

			

				

					weixin_40647655的博客
				

				

					06-01
					
					844
					
				

			

		

		

			
				
SOLD2: Self-supervised Occlusion-aware Line Description and Detection
自监督防遮挡线特征描述和检测
特征点是SFM、SLAM、大规模视觉定位和三地重建等计算机视觉任务总的核心。线特征在现实世界中广泛存在，相比于点特征线特征本身有着方向的属性，这能够提供强有力的几何约束。本文的方法能够检测线段并且能够匹配线段和处理部分遮挡。
经典的方法主要是基于计算梯度和人工设计的滤波器来检测线特征，如今深度学习已经能够实现实时鲁邦的线特征检测，主要的研究

			
		

	





	

		

			

				
					
【图像配准】matlab实现图像配准过程中，如何用非极大值抑制方法nms减少特征点keypoints，提高匹配效率？

				
			

			

				

					G_redsky的博客
				

				

					02-23
					
					1661
					
				

			

		

		

			
				
为了系统地评估SIFT关键点的质量，可以设计一系列实验，包括改变图像条件（如光照、对比度、模糊等）和变换图像（如缩放、旋转、仿射变换等），然后在每种情况下评估关键点的分布、稳定性和匹配质量。：算法在执行过程中占用的内存量也是一个重要的效率指标，特别是在内存受限的环境中。：SIFT算法生成的描述符具有很高的独特性，这有助于区分不同的特征点，即使在特征点密度很高的情况下也能保持较低的误匹配率。通过综合这些指标和评估结果，可以对特征提取和匹配方法的效率进行全面的评价，并据此做出技术选型的决策。

			
		

	





	

		

			

				
					
YOLO算法改进指南【初阶改进篇】：2.改进DIoU-NMS,SIoU-NMS,EIoU-NMS,CIoU-NMS,GIoU-NMS

				
			

			

				

					“365天深度学习训练营”报名进行中～
				

				

					04-17
					
					1404
					
				

			

		

		

			
				
非极大值抑制（Non-maximum Suppression (NMS)）的作用简单说就是模型检测出了很多框，我应该留哪些。本篇将演示如何修改：NMS、Merge-NMS、Soft-NMS、CIoU-NMS、DIoU-NMS、GIoU-NMS、EIoU-NMS、SIoU-NMS。

			
		

	





	

		

			

				
					
CV笔记8：角点特征之Harris角点检测算法（基于python-opencv实现）

				
			

			

				

					my_kun的博客
				

				

					06-23
					
					1万+
					
				

			

		

		

			
				
目录一、背景介绍1.1 什么是特征1.2 为什么做特征检测1.3 特征检测的方法二、Harris角点检测原理三、基于python-opencv实现Harris角点检测

一、背景介绍
1.1 什么是特征
在数据挖掘、计算机视觉等领域经常会提起“特征”一词，那么究竟什么才是特征？数据挖掘中我们可以称被分析数据集的某一属性（一行为一个样本，一列为一个属性）为特征，因为它反映了该数据集的某一种特性，是该数据集的一种固有标识。在计算机视觉中，一张图像的特征其实也有类似的概念，这种特征也能够描述这张图像的全部（或局部

			
		

	





	

		

			

				
					
FAST特征点检测算法的MATLAB实现源码

				
			

			

				

					
				

			

		

		

			
				
FAST（Features from Accelerated Segment Test）特征点检测算法是一种高效且广泛应用于计算机视觉领域的角点检测方法，尤其适用于实时图像处理任务。该算法由Edward Rosten和Tom Drummond于2006年提出，其核心思想...

			
		

	





	

		

			

				
					
【毕设记录日记】深度学习|铝型材表面缺陷视觉检测算法：YOLOv5改进笔记之NMS

				
			

			

				

					SylviaMiller的博客
				

				

					05-14
					
					2693
					
				

			

		

		

			
				
目录

1 非极大值抑制Non-Maximum-Suppresion（NMS）

1.1 NMS基础代码

1.2将NMS改为DIOU_NMS

1.3 NMS完整变体代码

1.4 总结

1 非极大值抑制Non-Maximum-Suppresion（NMS）

1.1 NMS基础代码

Pytorch机器学习（八）—— YOLOV5中NMS非极大值抑制与DIOU-NMS等改进_lzzzzzzm的博客-优快云博客_diou-nms



YOLOv5——NMS_OngoingDC的博客-优快云...

			
		

	





	

		

			

				
					
NMS算法介绍

				
			

			

				

					01-03
				

			

		

		

			
				
NMS算法的介绍，用于IOU比较。MTCNN中使用了这个算法。

			
		

	





	

		

			

				
					
【Pytorch论文相关代码】使用SOLD2预训练好的模型检测与匹配线段(自己的数据集)

					
热门推荐

				
			

			

				

					主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
				

				

					01-18
					
					13万+
					
				

			

		

		

			
				
文章目录前言使用流程

前言
论文链接：SOLD2: Self-supervised Occlusion-aware Line Description and Detection
论文源码：https://github.com/cvg/SOLD2
使用流程

下载好源码。
安装相关依赖。
下载预训练好的模型文件：sold2_wireframe.tar。github上作者提供的下载链接非常慢，建议使用下面链接下载：
链接：sold2_wireframe.tar



...

			
		

	





	

		

			

				
					
从NMS谈起——什么是好的特征

				
			

			

				

					Faded
				

				

					06-03
					
					662
					
				

			

		

		

			
				
特征的评价
提取特征时我们往往先提取关键点，再提取描述符。前者决定了我们用哪些点来代表一幅图像，后者决定了我们如何描述图像的内容。相应的，对于关键点和描述符都有不同的评价标准。对于描述符，我们希望对应点对的描述符尽量相似，非对应点对的描述符尽量不同。对于关键点，则没有这么简单。
可重复性
我们使用一副图像中的某些点（或者patch）来代表整张图像，因此对于关键点，我们希望它有明确的几何意义，因此现在使用的关键点往往是角点或者斑点。对于同一场景，我们希望提取的特征不随着视角和环境变化而大幅度变动，这实际上是希

			
		

	





	

		

			

				
					
特征点检测

				
			

			

				

					weixin_40446764的博客
				

				

					05-10
					
					748
					
				

			

		

		

			
				
神经网络可以通过输出图片的特征点的(x,y)坐标来实现对你目标特征的识别。人脸识别：用算法确认眼角的位置。神经网络的输出输出两个数字lx、ly。假设人脸有64个特征值。上述图中输出的一个向量，64*3+1（有无人脸）＝129个单元，实现人脸的检测和定位，这只是识别脸部表情的基本模块。为了构建这样的网络，需要准备一个图片x和标签y的训练集。我们还可以定义一些关键特征点，如胸部的中点，左肩左肘腰等，然...

			
		

	





	

		

			

				
					
妙啊！不怕遮挡的图像线段匹配 SOLD2，还能联合自监督线段检测｜CVPR2021 Oral

				
			

			

				

					3D视觉工坊
				

				

					04-25
					
					1906
					
				

			

		

		

			
				
点击上方“3D视觉工坊”，选择“星标”干货第一时间送达作者丨二玖审稿丨邓富城编辑丨极市平台极市导读本文介绍来自苏黎世联邦理工学院和微软的研究者们提出了首个联合检测与描述线段的深度网络：。...

			
		

	





	

		

			

				
					
【论文翻译】SOLD2: Self-Supervised Occlusion-Aware Line Description and Detection

				
			

			

				

					EternallyAccompany的博客
				

				

					03-01
					
					1347
					
				

			

		

		

			
				
论文：http://arxiv.org/abs/2104.03362
代码：https://github.com/cvg/SOLD2

			
		

	





	

		

			

				
					
SOLD2：深度学习中的稳健特征检测库

					
最新发布

				
			

			

				

					gitblog_00047的博客
				

				

					04-16
					
					443
					
				

			

		

		

			
				
SOLD2：深度学习中的稳健特征检测库
是一个开源的Python库，专注于提供一种高效且鲁棒的方法来进行单图像中的3D物体识别和定位。这个项目由苏黎世联邦理工学院计算机视觉小组（CVG）开发，旨在简化深度学习在现实世界应用中的对象检测任务。
技术分析
SOLD2的核心是一个基于深度学习的模型，它能够处理各种光照、遮挡和视角变化的情况。库中包含两个关键组件：


Feature Detector：采...

			
		

	





	

		

			

				
					
SOLD2算法之4: line matching，遮挡问题（CVPR2021 源码解析）

				
			

			

				

					蓝羽飞鸟的博客
				

				

					04-09
					
					794
					
				

			

		

		

			
				
当两张图片中都检测到线段之后，就要进行线段的匹配。
回想特征点匹配时，是用描述子descriptor计算距离进行匹配，
直线也是这样。
直线的descriptor是用网络得到的。

input image:[1, 1, H, W]，经过backbone net后为[1, 256, H/4, W/4]
descriptor_decoder由conv3x3 (s=1, p=1) 和conv1x1组成
得到的descriptor output为[1, 128, H/4, W/4]
那检测到的线段和这个descri

			
		

	





	

		

			

				
					
NMS（非极大值抑制）算法详解与示例

				
			

			

				

					baidu_35536188的博客
				

				

					03-20
					
					2万+
					
				

			

		

		

			
				
nms的使用总结

			
		

	





	

		

			

				
					
降低复杂度的高效精确角点检测算法：LOCOCO详解

				
			

			

				

					
				

			

		

		

			
				
作者Pradip Mainali、Qiong Yang、Gauthier Lafruit、Luc Van Gool和Rudy Lauwereins都是IEEE会员，他们在实时计算机视觉应用中对既快速又高质量的角点特征检测算法的需求提出了深入研究。  Harris和Kanade-Lucas-...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
蓝羽飞鸟

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值