【红外与可见光图像融合】GuideFuse: A Novel Guided Auto-Encoder Fusion Network for Infrared and Visible Images

最新推荐文章于 2024-07-15 13:28:45 发布
最新推荐文章于 2024-07-15 13:28:45 发布
阅读量640 收藏 5
点赞数 6
CC 4.0 BY-SA版权
文章标签： 深度学习 计算机视觉 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/learnererer/article/details/137200036
本文介绍了一种利用梯度信息增强深度网络细节保留的方法，通过设计新的融合策略和网络结构，如Stemconv、GuideGenerator和GradientBranch，以及在训练和测试阶段的处理方式，旨在提高视觉信息的表达能力。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1、动机

目前深度网络有很强的语义表达能力，但还是难免损失一些细节。为了更好地保持源图像的细节，我们使用梯度来引导网络的训练。
计算源图像的梯度图，并且计算了一个梯度值GV，一起引导解码器重建图像。
同时，基于这个GV，设计了一个新的融合策略。

作者在贡献里这样写：设计了一个新的半自动的融合策略来增强视觉信息。通过调整一对超参数，算法可以增强来自不同模态的细节。

2、网络结构

在这里插入图片描述

2.1 Stem conv

引用ResNet的思想，大核卷积，使用7*7的大感受野。卷积的结果同时送入后续encoder和Guide Generator。

2.2 Guide Generator

深度语义信息提取器，使用4个resblock降采样，通道翻倍，平均池化得到一个Guide Value即GV
在这里插入图片描述
全局平均池化后，GV的维度是25611，这个GV的作用就相当于一个通道注意力了。
引导decoder中不同的层，所以有不同的线性映射把256维的GV映射到目标维度。

2.3 Gradient Branch

使用拉普拉斯梯度算子执行边缘检测，（后续做了消融实验）
步骤：

  1. 高斯核去噪
  2. 拉普拉斯梯度算子提取梯度
最低0.47元/天 解锁文章

200万优质内容无限畅学
yeager415
关注
【图像去噪（Image Denoising）】关于【图像去噪】专栏的相关说明，包含适配人群、专栏简介、专栏亮点、阅读方法、定价理由、品质承诺、关于更新、去噪概述、文章目录、资料汇总、问题汇总（更新中）
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
01-14 1万+
你是否在全网苦寻【图像去噪（ImageDenoising）】的相关资料？你的目标是否是看懂【图像去噪（ImageDenoising）】的相关论文，复现代码，跑出结果，并试图创新？你是否需要发表【图像去噪（ImageDenoising）】的相关论文毕业？你是否需要做【图像去噪（ImageDenoising）】的相关项目，开发软件，研究算法，获得专利或者软著？只要是与【图像去噪（ImageDenoising）】有关的问题，那么请继续往下看。
【CVPR2022】论文列表与下载——PartThree
TomRen
06-12 5007
【CVPR2022】完整论文列表
可见光和红外图像的融合
OrigamiSun的博客
08-30 7228
3种较为简单的可见光和红外图像融合方式，包括固定权重的融合、TIF方式等
使用显著性检测的可见光和红外图像的两尺度图像融合（Matlab代码实现）
weixin_46039719的博客
09-21 349
图像融合是将互补的源信息集成到合成图像中的过程。该方法是有益的，因为本文引入的视觉显著性提取过程可以很好地突出源图像的显著性信息。在军事、导航、隐蔽武器探测等应用中，不同的成像系统，如电荷耦合器件（CCD）或可见光（VI）和前视红外（FLIR）或红外（IR）用于监测目标场景。来自这些图像的有用或补充信息应集成到单个图像中，以提供比任何一个单个源图像更准确的场景描述。在目标级图像融合中，使用从每个源图像派生的属性描述符、特征和对象标签进行融合。是将源图像中的互补或有用信息组合或整合到融合图像中的现象。
使用深度学习的可见光和红外图像融合综述-Visible and Infrared Image Fusion Using Deep Learning
snowxiao的博客
03-02 1万+
近年来，可见光和红外图像融合（VIF）因其在目标检测、目标跟踪、场景分割和人群计数等许多任务中的应用而引起了人们的广泛关注。
【图像融合】可见光与红外图像融合方法和评价指标
qq_41502322的博客
09-24 1万+
本文是对多传感器数据融合中可见光图像和红外图像的融合方法的分类和整理。
【CVPR2019】论文完整列表一
TomRen
06-11 1万+
CVPR 2019 Paper list[1-1000] CVPR2019 完整列表二 论文题目与链接 Finding Task-Relevant Features for Few-Shot Learning by Category Traversal Edge-Labeling Graph Neural Network for Few-Shot Learning G...
（八：2020.08.27）CVPR 2020 追踪之论文纲要（译）
热门推荐
Jojo论文基地
08-27 1万+
CVPR 2019 追踪之论文纲要（修正于2020.08.27）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 Respect！ 论文目录 论文 概要 12-in-1 - Multi-Task Vision and Language Repre
【CVPR2022】论文列表与下载——PartFour
TomRen
06-12 3265
【CVPR2022】完整论文列表
红外图像与可见光图像(图像融合)
11-30
已经配准的红外图像与可见光图像数据集，做图像融合用
红外与可见光图像自适应融合源代码
02-20
针对低可见光图像和红外图像的特点,提出一种基于 DT-CWT的自适应图像融合算法.该算法具有好的平移不变性和方向选择性,更适合于人类视觉.先对源图像作双树复小波变换,充分考虑各尺度分解层的系数 特征,对低通子带引入免疫克隆选择,根据统计评价准则定义亲和度函数,自适应获得最优融合权值;对高通子带则根据人类视觉特性定义局部方向对比度,并作为 融合准则,突出和增强了各源图像的对比度与细节信息.实验结果表明:与基于小波的融合结果相比较,本文的融合算法自适应性和鲁棒性更强,较好地保护和显示 了源图像中的边缘和细节信息,对比度和清晰度都有所提高.该算法用matlab得以实现。
图像融合论文阅读：LRRNet: A Novel Representation Learning Guided Fusion Network for Infrared and Visible Imag
图像强的博客
12-26 3553
作者构建了一种【端到端】的【轻量级】融合网络，该模型使用训练测试策略避免了网络设计步骤。具体来说，对融合任务使用了【可学习的表达方法】，其网络模型构建是由生成可学习模型的优化算法指导的。【低秩表达】（low-rank representation ，【LRR】）是算法核心基础。 并提出了一种新的细节语义信息损失函数
红外和可见光图像融合算法研究
TuTu998的博客
09-01 7456
基于MATLAB的红外和可见光图像融合系统[带评价指标]一、课题介绍 红外技术作为人类认识自然、探索自然的一种新的现代工具，已经被各国普遍的应用于生物、医学、地学等科学领域以及军事侦察方面。红外图像直接反映了物体表面温度分布情况，但由于目标的红外辐射十分复杂，而且影响目标红外辐射的因素很多，红外热图像的清晰度远不如可视图像。可见光图像能够很好的描绘场景中各个物体的外形结构，具有较好的轮廓...
红外与可见光图像融合技术综述
Songxianshengbei的博客
04-13 2947
红外与可见光图像融合技术的意义在于，它能够结合两者的优点，生成一幅既包含红外图像的目标检测能力，又包含可见光图像的色彩和纹理信息的新图像。为了使融合结果能够保持更多可见光图像中的背景信息，可以将融合图像和可见光图像作为鉴别器的输入，由此来使融合图像不断地拟合可见光图像数据分布。红外与可见光图像融合技术是一种将红外图像和可见光图像的信息进行结合，以产生一幅包含两者优点的新图像的技术。通过融合红外图像的热源检测能力和可见光图像的环境信息，可以实现对隐蔽目标的探测和导航，提高飞行器的安全性和作战能力。
【浅读论文-红外和可见光图像融合-综述】Infrared and visible image fusion methods and applications: A survey（上）
一枚博鼠的博客
11-23 8041
这是2019年提出的论文综述1,主要对早期的传统融合方法和应用做综述，简要回顾一下。📖论文地址文章首先详细综述了红外和可见光图像的融合方法。同时，简要介绍了图像配准作为图像融合的前提条件。其次，概述了红外和可见光图像融合的主要应用。第三，对图像融合性能的评价指标进行了讨论和总结。第四，选取18种具有代表性的方法和9个评价指标进行定性和定量实验，为不同融合方法提供客观的性能参考，从而为相关工程提供可信、确凿的证据支持。最后，总结了红外和可见光图像融合的现状，并对未来的工作进行了深入的讨论和展望。
【红外与可见光图像融合】DATFusion：DATFuse: Infrared and Visible Image Fusion via Dual Attention Transformer
learnererer的博客
03-04 3291
提到了未来的解决方向：由于配准是图像融合的前提，现有的图像融合方法只能解决静态场景的融合问题。未来，我们将提出一种实时图像融合方法，克服动态场景下图像融合的挑战，实现类视频的融合任务。
红外与可见光图像融合所读框架
qq_44929893的博客
04-19 1088
从图中我们可以观察到，主流部署了两个3 × 3的卷积层和一个普通的卷积层，卷积层的核大小为1 × 1。例如，它体现在可见光图像中相对于相应红外图像噪声更小的区域，多焦图像中景深范围内外观更清晰的物体，多曝光图像中亮度更合适、畸变更小的物体等，如图所示。该框架输出的三个输出分别对应三种任务，分别是边缘分割，二进制分割和语义分割，这三类输出公用一个S2PM，是不是也就是说S2PM提取的语义信息要同时满足这三类任务，也就可以理解为S2PM提取的语义信息不是为了单个任务设计的，而是包含了多个任务所通用的语义信息。
【图像】红外与可见光融合图像识别经典算法
最新发布
沐风—云端行者
07-15 3171
在图像识别领域，红外图像与可见光图像的融合技术开辟了一条新的路径，不仅增强了图像的细节和对比度，还提高了在各种环境条件下的目标检测和识别能力。红外与可见光图像的融合技术，通过综合两种图像的优势，为图像识别带来了新的视角和可能性。无论是传统的基于变换的方法还是新兴的深度学习方案，都在不断地推动这一领域的发展。该方法先构建源图像的拉普拉斯金字塔，然后在每一层上进行融合，最后重构出融合后的图像。图像融合的基本目的是将多个源图像的信息合并到一个输出图像中，以提高图像质量或提供更多的视觉信息。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值