基于深度学习的特征提取和匹配

特征提取 Features Extraction 介绍了特征提取的基本概念,从分类变量,文本信息和图片信息中进行特征提取的方法,以及实现特征提取的类库 阅读详情

作者丨黄浴@知乎

来源丨https://zhuanlan.zhihu.com/p/78053406

编辑丨计算机视觉life

计算机视觉需要图像预处理,比如特征提取,包括特征点,边缘和轮廓之类。以前做跟踪和3-D重建,首先就得提取特征。特征点以前成功的就是SIFT/SURF/FAST之类,现在完全可以通过CNN模型形成的特征图来定义。


特征提取

• Discriminative learning of deep convolutional feature point descriptors【1】

该方法通过卷积神经网络(CNN)学习鉴别式补丁表示,特别是训练具有成对(非)相应补丁的Siamese网络。在训练和测试期间它使用L2距离,提出了一种128-D描述符,其欧几里德距离反映了补丁相似性,并且可作任何涉及SIFT的替代。

如图所示,用一个Siamese网络来学习这样的描述符,其中非线性映射由CNN表示,它对对应或非对应补丁对优化。补丁通过模型提取描述符然后计算其L2范数,作为图像描述符的标准相似性度量。而目标是学习一个描述符,在其空间中让非对应的补丁相隔甚远,而在对应的补丁紧密相连。

考虑每个图像块xi具有索引pi,该索引pi唯一地标识从给定视点大致投影到2D图像块的3D点,而目标函数定义如下:

其中p1,p2分别是投影到x1,x2的3D点索引。

这里下表给出的是三层网络架构:64×64输入在第3层中产生128维输出。每个卷积层由四个子层组成:滤波器层,非线性层,池化层和归一化层。

非线性层,使用双曲线切线单元(Tanh)池化层使用L2池化,归一化很重要,这里使用减法归一化,在第一和二层之后用高斯核减去5×5邻域的加权平均值。

• Learned Invariant Feature Transform【2】

LIFT是一种深度网络架构,实现了完整的特征点检测、朝向估计和特征描述,如图所示。

下图是以Siamese架构为基础的整个特征检测和描述流水线。为了训练网络,采用图中的四分支Siamese结构。每个分支包含三个不同CNN,一个检测器、一个朝向估计器和一个描述子。使用四联(quadruplets)图像补丁。每个包括:图像块P1和P2对应于同样3D点的不同视图,图像块P3包含不同3D点的投影,图像块P4不包含任何显着特征点。在训练期间,每个四联第i个补丁Pi将通过第i个分支。

为了实现端到端可微分,每个分支的组件连接如下:

  • 1) 给定输入图像块P,检测器提供得分图S;

  • 2) 在得分图S上执行soft argmax 并返回单个潜在特征点位置x。

  • 3) 用空间变换器层裁剪(Spatial Transformer layer Crop)提取一个以x为中心的较小的补丁p(如图5-3), 作为朝向估计器的输入。

  • 4) 朝向估计器预测补丁方向θ。

  • 5) 根据该方向第二个空间变换器层(图中的Rot)旋转p产生pθ。

  • 6) pθ送到描述子网络计算特征向量d。

最后的运行结构如图所示。由于朝向估计器和描述子只在局部最大值进行评估,将检测器解耦并在传统NMS的尺度空间中运行,以获得其他两个组件的建议。

最后看LIFT和SIFT结果比较的例子,如图所示。


特征匹配

  • MatchNet【3】

MatchNet由一个深度卷积网络组成,该网络从补丁中提取特征,并由三个全连接层组成网络计算所提取特征之间的相似性。

如图是MatchNet训练时的网络架构(图C),联合学习将补丁映射到特征表示的特征网络(图 A)和将特征对映射到相似性的测度网络(图 B)。输出尺寸由(高×宽×深)给出。PS是卷积和池化层的补丁大小; S是步幅。层类型:C=卷积,MP=最大池化,FC=全连接。因为填充卷积层和池化层,故输出高度和宽度是输入除以步幅的值。对FC层,大小B,F选自:B∈{64,128,256,512},F∈{128,256,512,1024}。除FC3外,所有卷积层和FC层用ReLU激活,输出用Softmax归一化。

下图是MatchNet预测的流水线图,网络拆解为并行的特征网络和测度网络。分两个阶段使用特征网络和测度网络:首先为所有补丁生成特征编码,然后将这些特征配对并推送它们通过测度网络获得分数。

  • UCN【4】

通用对应网络(Universal Correspondence Network,UCN)用于几何和语义匹配的视觉对应,包括从刚性运动到类内形状或外观变化等不同场景。深度测度学习过程,直接学习来保留几何或语义相似性的特征空间。一种卷积空间变换器(convolutional spatial transformer,CST)模拟传统特征(如SIFT)的补丁归一化,可显著提高类内形状变化语义对应(semantic correspondences)的准确性。

如图是UCN和传统方法的比较:各种类型的视觉对应问题需要不同的方法,例如用于稀疏结构的SIFT或SURF,用于密集匹配的DAISY或DSP,用于语义匹配的SIFT flow或FlowWeb。UCN准确有效地学习几何对应、致密轨迹或语义对应的度量空间。

下图是UCN系统概述:网络是全卷积的,由一系列卷积、池化、非线性和卷积空间变换器组成,还有通道L2归一化和对应对比损失函数。作为输入,网络采用图像对应点的一对图像和坐标(蓝色:正,红色:负)。对应于正样本点(来自两个图像)的特征被训练为彼此更接近,而对应于负样本点的特征被训练为相隔一定距离。在最后L2归一化之前和FCNN之后,设置一个卷积空间变换器来归一化补丁或考虑更大的上下文信息。

下图是视觉对应的对比损失函数示意图:需要三个输入,从图像中提取的两个密集特征及其坐标,和用于正负对应对的表。损失函数计算公式如下

其中s=1位正对应对,而s=0为负对应对。

如图比较卷积空间变换器和其他方法的比较:(a)SIFT标准化旋转和缩放;(b)空间变换器将整个图像作为输入来估计变换;(c)卷积空间变换器对特征进行独立变换。

  • DGC-Net【5】

DGC-Net(Dense Geometric Correspondence Network)【5】是一种基于CNN实现从粗到细致密像素对应图(pixel correspondence map)的框架,它利用光流法的优势,并扩展到大变换,提供密集和亚像素精确的估计。训练数据来自合成的变换,也应用于相机姿态估计的问题。

如图所示,一对输入图像被馈入由两个预训练的CNN分支组成的模块,这些分支构成一个特征金字塔。相关层从金字塔的粗层(顶)获取源图像和目标图像的特征图,并估计它们之间的成对相似性。然后,对应图(correspondence map)解码器获取相关层(correlation layer)的输出并直接预测该金字塔在特定层的像素对应关系。最后,以迭代方式细化估计。

为了在特征空间中创建输入图像对的表示,构造了一个有两个共享权重分支的Siamese神经网络。分支用在ImageNet训练的VGG-16架构,并在最后的池化层截断,然后进行L2归一化。在每个分支的不同部分提取特征fs,ft创建具有5-层特征金字塔(从顶部到底部),其分辨率是[15×15, 30×30, 60×60, 120×120, 240×240],在网络训练过程的其余时间固定CNN分支的权重。

为估计两个图像之间的相似性,计算源图像和目标图像的标准化特征图之间的相关体积。不同于光流法,直接计算全局相关性并在相关层前后做L2标准化以强烈减少模糊匹配(见图所示)。

将相关层输出送到5个卷积块(Conv-BN-ReLU)组成的对应图解码器,估计特征金字塔特定层l 的2D致密对应域ω(l)est。这是参数化估计,图中每个预测像素位置属于宽度和高度归一化的图像坐标区间[-1,1]。也就是说,上采样在(l-1)层的预测对应域,让第l层源图像的特征图变形到目标特征。最后,在上采样域,变形源fs(ω(l)est)和目标ft(l)的特征沿着通道维度拼接在一起,并相应地作为输入提供给第l级的对应图解码器。

解码器中每个卷积层被填充以保持特征图的空间分辨率不变。此外,为了能够在金字塔的底层捕获更多空间上下文信息,从l = 3开始,将不同的空洞(dilation)因子添加到卷积块以增加感受野。特征金字塔创建者、相关层和对应图解码器的分层链一起组成CNN架构,称为DGC-Net。

给定图像对和地面实况像素相关映射ωgt,定义分层目标损失函数如下:

其中||.||1是估计的对应图和GT对应图之间的L1距离,M(l)gt 是GT二值掩码(匹配掩码),表示源图像的每个像素在目标是否具有对应关系。

除了DGC-Net生成的像素对应图之外,还直接预测每个对应的置信度。具体来说,通过添加匹配(matchability)分支来修改DGC-Net结构。它包含四个卷积层,输出了概率图(参数化为sigmoid函数),标记预测对应图每个像素的置信度,这样架构称为DGC + M-Net。把此问题作为像素分类任务,优化一个二值交叉熵(BCE),其中逻辑损失(logits loss)定义为:

最终的损失为:

更多的DGC-Net网络细节见图所示。

而DGC+M-Net的一些网络细节见图所示。


参考文献

  • 1. E. Simo-Serra et al., “Discriminative learning of deep convolutional feature point descriptors”. ICCV 2015

  • 2. K Yi et al.,“Learned Invariant Feature Transform”, arXiv 1603.09114, 2016

  • 3. X Xu et al.,“MatchNet: Unifying Feature and Metric Learning for Patch-Based Matching”, CVPR 2015

  • 4. C Choy et al., “Universal Correspondence Network”,NIPS 2016

  • 5. I Melekhov et al, “DGC-Net: Dense Geometric Correspondence Network”, CVPR 2019

本文仅做学术分享,如有侵权,请联系删文。

一文详解形状匹配的特征提取【传统方法和深度学习方法】 形状匹配(Shape Matching)是计算机视觉中的核心研究领域之一,被广泛应用于 **目标识别、医学图像分析、工业检测、自动驾驶** 等场景。其主要挑战包括 **尺度变化、旋转不变性、仿射变换、遮挡和噪声** 等因素的影响。高效、鲁棒的形状特征提取方法对于形状匹配的成功至关重要。 阅读详情

相关推荐

文本特征提取_基于深度学习的文本检索&匹配算法

最近在实现一个文本检索式的问答机器人,技术核心是文本相似建模,于是对相关的深度学习方法应用进行了调研,这里做个基本的梳理。默认读者有信息检索的基础知识,所以没有细致的概念解释,如果发现错误还请各位旁友们及时指正。应用&简单介绍 1. 基于深度学习的检索算法常见做法是,定义或者学习出一个静态的语义网络结构,它可以用来向量化query和documents,句向量模型(sen2vec...

weixin_39757739的博客 1173

【特征提取】基于深度学习的特征提取和匹配方法介绍

点击上方“小白学视觉”,选择加"星标"或“置顶”重磅干货,第一时间送达 本文转自 |AI深度学习视线 精彩内容计算机视觉需要图像预处理,比如特征提取,包括特征点,边缘和...

小白学视觉 8983

从代码到地图:解密深度学习SLAM中的特征提取与匹配

本文深入探讨了深度学习SLAM技术在特征提取与匹配领域的工程实践,重点分析了SuperPoint和SuperGlue这对黄金组合的实现细节与优化策略。通过端到端联合训练和神经辐射场(NeRF)建图技术,显著提升了SLAM系统在复杂环境中的鲁棒性和精度,为无人机导航和AR/VR定位提供了高效解决方案。

weixin_29084231的博客 358

Discriminative Learning of Deep Convolutional Feature Point Descriptors

Discriminative Learning of Deep Convolutional Feature Point Descriptors 基于深度卷积特征点描述符的判别学习 2015 ICCV (优点:网络简单+有判别力 提取描述符可用sift直接替换,有广泛应用,宽基线匹配,非刚性变化,极端光照变化) (缺点,训练麻烦,) 摘要:深度学习使图像等级任务(分类)发生了革命性变化,...

qq_33495762的博客 2285

Deep learning + SLAM小综述

两个月前写的DL+SLAM研究现状综述,刚想起放到博客上。         随着近几年深度学习技术的火热,越来越多的研究工作尝试将深度学习引入到SLAM中去,有些工作也取得了较为不错的效果。本文尝试对相关工作进行简单梳理,并探讨深度学习+SLAM的可行性和发展方向。当然个人学识有限,如有疏漏之处望大家不吝指正。   首先上个人观点:长期来讲,深度学习有极大可能会去替代目前SLAM技术...

fxr123fxr的博客 6046

基于深度学习的特征提取和匹配,全解析

计算机视觉需要图像预处理,比如特征提取,包括特征点,边缘和轮廓之类。以前做跟踪和3-D重建,首先就得提取特征。特征点以前成功的就是SIFT/SURF/FAST之类,现在完全可以通过CNN模型形成的特征图来定义。

迈微AI研习社 · 号主 2061

用深度学习模型提取特征

用途 有时候需要从图片(或文本)中提取出数值型特征,供各种模型使用。深度学习模型不仅可以用于分类回归,还能用于提取特征。通常使用训练好的模型,输入图片,输出为提取到的特征向量。 加入特征之后,结果往往不尽如人意,大致有以下原因: 深度学习模型一般有N层结构,不能确定求取哪一层输出更合适。 深度学习模型很抽象——几十层的卷积、池化、信息被分散在网络参数之中。提取自然语言的特征时,常常提取...

谢彦的技术博客 1万+

深度学习在计算机视觉中的特征提取和匹配

在上述示例中,我们首先加载两个图像,然后使用SIFT算法提取图像的关键点和描述符。最后,我们使用比率测试来筛选出良好的匹配,并使用OpenCV的drawMatches函数绘制匹配结果。通过以上的特征提取和匹配步骤,我们可以利用深度学习来提取图像的有用特征,并使用特征匹配算法来比较和匹配不同图像之间的相似性。最终,特征表示存储在变量features中。需要注意的是,上述代码仅为示例,实际应用中可能需要根据具体任务和数据进行适当的修改和调整。本文将介绍基于深度学习的特征提取和匹配的全过程,并提供相应的源代码。

JjtlReact的博客 439

深度学习做特征点匹配

使用深度学习的特征点和描述子替换传统SLAM前端的ORB体系

A1451ASD的博客 1315

计算机视觉与深度学习 | 基于深度学习的图像特征提取与匹配算法综述及MATLAB实现

深度学习已成为图像特征提取与匹配领域的主流技术,从早期的CNN模型到近期的Transformer架构(如LoFTR、CoMatch),算法在鲁棒性和精度上持续突破。MATLAB提供了从特征提取到匹配可视化的完整工具链,结合预训练模型和自定义网络设计,可快速实现各类匹配任务。未来研究将聚焦于自监督学习、多模态融合和实时化部署,推动该技术在自动驾驶、遥感测绘等领域的广泛应用。参考文献[79] 图像匹配算法综述-优快云博客[81] 5个主流图像嵌入模型的对比-新缸中之脑。

尘世冰封的专栏 1567

Mixer-First Receiver适用于宽带阵列应用的接收机技术1

Mixer-First Receiver适用于宽带阵列应用的接收机技术1技术的背景单元级数字化阵列传统链路到Mixer-First链路的逻辑考虑三种场景小结 技术的背景 在文章《吊打全球的顶级毫米波数字阵列项目-MIDAS》中提到了DARPA在MIDAS项目中在毫米波实现宽带单元级数字化阵列用到了一个关键的叫做N-Path filter的技术,而这个技术同样出现在了《让微波射频工程师颤抖的芯片-MATRICs》的MATRICs芯片中。 为什么DARPA的各个合作研究机构选择这种技术?这篇来自Universi

ICONO的博客 2167

基于深度学习的特征提取和匹配方法介绍

点击上方“AI算法修炼营”,选择加星标或“置顶”标题以下,全是干货作者:黄浴知乎链接:https://zhuanlan.zhihu.com/p/112114806本文已由作者授权转载,未...

AI算法修炼营的博客 8473

MTK平台TP驱动设备树与GPIO配置实战解析

本文详细解析了MTK平台TP驱动开发中的设备树与GPIO配置实战。通过DCT工具配置GPIO引脚,结合设备树节点定义触摸参数,并分享驱动移植、编译调试技巧及常见问题解决方案,帮助开发者快速掌握MTK触摸驱动开发核心。

ice55的博客 237

深度学习CNN特征提取与匹配

使用卷积神经网络(如ResNet、VGG、MobileNet)提取多层特征图,通过卷积层自动学习图像的局部纹理、形状及语义信息‌。

深之JohnChen的专栏 1598

STM32F4实战:手把手教你实现USB OTG双模式切换(Host/Slave)

本文详细介绍了如何在STM32F4上实现USB OTG双模式切换(Host/Slave),包括硬件架构解析、软件实现机制、主机模式下的U盘读写以及从机模式下的自定义设备开发。通过实战案例和优化技巧,帮助开发者快速掌握USB双角色功能,提升嵌入式系统开发的灵活性和效率。

u9v0w的博客 730

DeepStream实战:多路视频AI分析从CPU瓶颈到GPU高吞吐

视频流智能分析在智慧交通和边缘计算中愈发关键,但传统CPU拉流解码加GPU推理的链路,常面临CPU占用过高、GPU利用率低下的窘境。DeepStream作为NVIDIA推出的流式推理框架,基于GStreamer插件生态,以NVMM内存管理让视频数据在GPU侧高效流转,配合NVDEC硬件解码、NvStreamMux多路批处理与TensorRT优化,大幅降低CPU负担并提升多路视频并行吞吐。针对1080p甚至更高分辨率的RTSP流,它能将多路帧汇聚为batch批量推理,从而支撑实时车辆识别、道路分析等生产级应用

weixin_29051245的博客 181

基于深度学习的特征提取、匹配全解析

选自丨计算机视觉life计算机视觉需要图像预处理,比如特征提取,包括特征点,边缘和轮廓之类。以前做跟踪和3-D重建,首先就得提取特征。特征点以前成功的就是SIFT/SURF/FAST之类,现在完全可以通过CNN模型形成的特征图来定义。特征提取• Discriminative learning of deep convolutional feature point desc...

AI蜗牛车 5854

Power Automate 最常用的十大场景以及解决方案

3.2 获取指定主题含有附件邮件,然后读取csv附件内容,插入数据库,调度执行存储过程,最后通过Power automate 发送paginated report 特殊格式报表给发件人。Power Automate 作为微软推出的自动化工作流工具,其适用场景非常广泛,尤其在数据库查询自动化方面能显著提升效率。2.8发送邮件,把生成csv文件当作附件,把生成html当作邮件内容在邮件boty展示。3.1 读取数据库数据,定时发送预警邮件并抄送附件和展示内容在邮件中。:已有微软产品栈,需快速实现部门级自动化。

qq_24388807的博客 3714

基于深度学习的角色匹配系统:从特征提取到风格迁移完整指南

特征提取是计算机视觉领域的核心技术,通过分析图像中的关键信息点来识别和描述目标对象。其原理基于深度学习模型学习图像的高层语义特征,结合传统图像处理技术实现精准的特征定位。在工程实践中,特征提取技术为图像识别、目标检测等应用提供了基础支撑,特别是在人脸识别、风格迁移等场景中发挥重要作用。本文聚焦的角色匹配系统正是基于多维度特征提取和风格迁移算法,通过PyTorch框架实现从面部几何特征到表演风格的综合分析,为影视制作、数字娱乐等领域的智能选角提供技术解决方案。该系统整合了OpenCV、Dlib等工具链,展示了

weixin_30421809的博客 337

深入详解DICOM医学影像定位线相关知识:理解定位线的概念、定位线的作用以及定位线显示和计算原理

深入详解DICOM医学影像定位线相关知识:理解定位线的概念、定位线的作用以及定位线显示和计算原理

编程技术探索者,分享C/C++、C#、Java、数据库等开发经验,聚焦实战技巧与AI兴趣,助力编程爱好者成长。 2053

基于NRF52833芯片的DW3000 SPI驱动接口代码实现

详细介绍基于NRF52833、nRF52820 、nRF52832 nRF52840 芯片的DW3000 硬件驱动接口代码

DT程序员的博客 1220

基于cpu的深度学习图像特征提取匹配_编辑推荐|一种基于深度学习的中文文本特征提取与分类方法...

曹鲁慧,邓玉香,陈通,李钊doi: 10.3976/j.issn.1002-4026.2019.06.015摘要: 提出了一种基于卷积循环神经网络的文本特征提取方法,同时对比使用统计学中的TF-IDF以及Word2vec方法的文本特征表示,将提取的特征分别放入SVM与随机森林分类器中对来源于中国知网的中文学术论文数据集进行分类。实验结果表明,使用卷积神经网络和卷积循环神经网络特征提取模型提取的特征...

weixin_31366207的博客 550

Windows11上pip安装IsaacSim5.1.0与IsaacLab

本文详细介绍了CUDA Toolkit 12.8.0、IsaacSim和IsaacLab的安装过程。首先从NVIDIA官网下载并安装CUDA Toolkit 12.8.0,然后通过miniforge创建conda环境(env_isaacsim)安装IsaacSim相关Python包,解决了Windows长路径问题。成功运行IsaacSim后,克隆IsaacLab仓库并完成安装验证,最后通过创建空场景测试环境配置。整个安装过程包含详细的命令行操作和问题解决方法,为机器人仿真开发环境搭建提供了完整指导。

拥抱具身智能,昇腾Ascend C 380
上一篇: 自监督学习:人工智能中的暗物质,来自Facebook AI Yann LeCun
下一篇: 最新!TUI世界大学排名(2021)发布:清华位居全球前20名!
机器学习算法那些事
博客等级 码龄9年 1633粉丝 62原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值