【IVIF】MAFusion: Multiscale Attention Network for Infrared and Visible Image Fusion

最新推荐文章于 2024-11-15 19:00:37 发布
最新推荐文章于 2024-11-15 19:00:37 发布
阅读量697 收藏 8
点赞数 5
CC 4.0 BY-SA版权
分类专栏： 图像融合 文章标签： 深度学习 计算机视觉 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/learnererer/article/details/138093831
本文介绍了DeepFuse方法，一种针对IR-VIS图像融合的两阶段训练模型，涉及特征融合策略、多尺度特征处理、跳跃连接应用及损失函数的选择。实验分析了不同超参数的影响，以及网络如何在结构相似性指标上的表现。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本篇的Baseline应该是DeepFuse，两阶段训练，固定AE后，再加入中间的融合层训练。融合策略的方式可以留意一下，把源图像的特征作差得到差异特征，然后求取加权值。
编码器提取了4级多尺度特征，解码器中作者也是想使用多尺度的跳跃连接（有很多实现方式，作者试了一种）
损失函数就一个平均梯度算子提取的梯度损失和一个像素强度损失。
发表自TIM 2022
代码公开

在这里插入图片描述

1、融合策略

在这里插入图片描述

  1. 作差，取全局最大池化，除以最大值，归一化到 [0,1] 。这里IR-VIS，然后VIS-IR得到了两个插值图。
  2. 再通过Repeat操作，变换回与插值图一样的维度，除以插值图的最大值，归一化到【0，1】，如此一来，每个点的权重就不同了。我一开始以为他是作差，直接归一化，然后复制回与插值图一样的维度，这样，每一一个长条权重都是一样的了，这样就还好点

最低0.47元/天 解锁文章
DMSANet: Dual Multi Scale Attention Network（2021CVPR）双尺度注意网络论文笔记
每天都要看论文
06-19 2735
DMSANet: Dual Multi Scale Attention Network 双多尺度注意网络 Abhinav Sagar作者主页：https://abhinavsagar.github.io/ 在本文中，提出了一个新的注意力模块，它不仅能达到最好的性能，而且与大多数现有的模型相比，具有更少的参数。 最近，注意力机制在计算机视觉界相当流行。为了提高网络的性能，人们做了大量的工作，尽管几乎总是导致计算复杂性的增加。在本文中，提出了一个新的注意力模块，它不仅能达到最好的性能，而且与大多数现有的模型相比
改进YOLOv8系列：结合自研注意力模块MultiScaleAttentiveConv (MSAConv)
qq_44224801的博客
04-14 503
- YOLOv8轻松上手，适用技术小白，文章代码齐全，仅需一键train，解决YOLOv8的技术突破和创新潜能。
【红外与可见光图像融合】A Multi-scale Information Integration Framework for Infrared and Visible Image Fusion
learnererer的博客
03-16 2736
本文改进了损失函数，使得损失项的权重系数可以自适应调整(可学习的)。网络部分就是提取了多尺度信息，不同尺度之间在特征融合阶段有交互，融合阶段使用了空间和通道dual attention，基于IR和VIS提取的特征不同，将（L+1）层的 IR 图像上采样到 L 层，与L层的VIS图像相加，做一个信息补充，然后使用注意力机制进行加权。
MAFusion:Multiscale Attention Network for Infrared and Visible Image Fusion
wsgaolitou的博客
04-16 1015
该算法有效处理融合后的图像存在的伪影和不一致性（融合图像丢失重要信息）问题。
探索创新的机器学习模型：Multi-Scale Attention
gitblog_00049的博客
04-19 527
探索创新的机器学习模型：Multi-Scale Attention 去发现同类优质开源项目:https://gitcode.com/ 在深度学习的世界里，注意力机制（Attention Mechanism）已成为理解和处理复杂数据的关键技术之一。 创建的 是一个致力于改进这一机制的开源项目，它旨在提高模型对多尺度信息的理解和应用能力。 项目简介 Multi-Scale Attention 提供了...
【图像超分辨率】MSAN:Scene-Adaptive RS Img SR a Multiscale Attention
qq_41807261的博客
05-31 1125
MSAN：Scene-Adaptive Remote Sensing Image Super-Resolution Using a Multiscale Attention Network摘要I 介绍III. 方法A. 用于遥感图像超分辨率的MSAN模型的结构B. 多尺度激活特征融合块（MAFB）1) 多尺度激活模块。2) 注意模块。C. 场景适应性框架描述1) 转移学习2）重构 摘要 遥感图像超分辨率一直是研究的重点，近年来提出了许多基于深度学习的算法。然而，由于遥感图像的结构往往比自然图像的结构更加复杂
【红外与可见光图像融合】Infrared and visible image fusion based on a two-stage class conditioned auto-encoder ne
learnererer的博客
04-18 846
本文提到一些方法使用共享编码器从源图像中提取特征，并且采取手工制作的融合策略。我们的目的是让编码器从，因此我们在编码器中引入了类嵌入分支，对不同模态的特征进行建模，并根据输入模态自适应缩放中间特征。融合策略方面，使用了通道和空间注意力机制对不同模态的特征图进行加权。训练思路与RFN-NEST相同，两阶段训练，损失不同。代码不公开发表自Neurocomputing 2023。
科研学习|论文解读——交叉注意力融合2024经典论文（配套模块和代码）
也许有一天我们再相逢 睁开眼睛看清楚 我才是英雄！
04-25 1万+
多模态学习和注意力机制是当前深度学习研究的热点领域之一，而，具有很大的发展空间和创新机会。作为多模态融合的一个重要组成部分，交叉注意力融合通过注意力机制在不同模块之间建立联系，促进信息的交流和整合，从而提升了模型处理复杂任务的能力，展现出其在多模态学习和聚类分析等领域的强大优势。本文盘点交叉注意力融合相关的13个技术成果，包含2024年最新的研究，这些模块的来源文章以及代码我都整理了，希望能给各位的论文添砖加瓦。
翻译：Visible-Infrared Image Alignment for UAVs: Benchmark and New Baseline。With the extensive use of multisensors in uncrewed aerial vehicles (UAVs), multimodality information processing has become the research focus. In academic research pertaining to object detection and tracking tasks in UAVs, researchers often align visible-infrared image pairs as a preprocessing step. However, in actual tasks, the dual-modality image pair acquired by UAVs is unaligned, which significantly limits the application of downstream tasks. At present, there are no publicly available multimodality image alignment datasets for UAVs. In this article, we present a large-scale benchmark for the dual-modality image alignment task in UAVs, including 81000 training image pairs and 15000 testing image pairs. Meanwhile, we propose a transformer-based dual-modality image alignment network as the baseline for this benchmark. First, the algorithm extracts multiscale features for image representation to address unaligned image pairs with varying resolutions. Second, a transformer-based alignment network is proposed to improve the fusion of features from heterogeneous modalities. Finally, deformable attention is adopted to alleviate the problem of memory explosion. Numerous experiments on this dual-modality image alignment benchmark are conducted to demonstrate the effectiveness of our algorithm. Source codes are available at https://github.com/gaozhinanjiu/UAVmatch.
最新发布
03-09
针对这一问题，《VisIRNet: Deep Image Alignment for UAV-taken Visible and Infrared Image Pairs》提出了基于深度学习的方法——VisIRNet框架[^2]。该方法旨在解决由不同时间戳采集所得异质影像间的精准匹配难题...
（八：2020.08.27）CVPR 2020 追踪之论文纲要（译）
热门推荐
Jojo论文基地
08-27 1万+
CVPR 2019 追踪之论文纲要（修正于2020.08.27）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 Respect！ 论文目录 论文 概要 12-in-1 - Multi-Task Vision and Language Repre
图像融合论文及代码网址整理总结（2）——红外与可见光图像融合
qq_36542241的博客
09-21 4583
写在前面的话： 本篇博文主要整理汇总一下现有的红外与可见光图像融合算法（文章和代码）。适当地，也会整理出作者的学术主页。整理这些的初衷，是为了方便自己，顺便也给同领域的研究者在找代码等方面提供些许便利。另外，该领域的文章很多，本篇博文也只是整理了其中的一部分，并且，本人不会对论文内容做过多评论。   同系列的博文还有： 图像融合论文及代码网址整理总结（1）——多聚焦图像融合 图像融合论文及代码网...
[MSA-Net]Multi-Scale Attention Network学习笔记
Focus
10-24 2989
MSA-Net Multi-Scale Attention Network for Crowd Counting 2019 作者：亚马逊 论文：https://arxiv.org/abs/1901.06026 创新点： 在backbone中就产生了多尺度的density map，经过上采样后，加入软注意力机制进行加权叠加。 提出了一个scale-aware loss，但是实验结果好像表明效果不大。 Baseline network for crowd counting 一个关于密度图的解释[链接] M
【可变形注意力（1）】Multi-scale Deformable Attention Transformers 多尺度变形注意力
Hali_Botebie的博客
10-27 5409
1、大多数现代物体检测框架受益于多尺度特征图 (Liu等人，2020)。2、Deformable DETR: Deformable Transformers for End-to-End Object Detection 提出的可变形注意力模块可以自然地扩展为多尺度特征图。
论文阅读：HIERARCHICAL MULTI-SCALE ATTENTION FOR SEMANTIC SEGMENTATION
a486259的博客
08-18 952
论文地址：https://arxiv.org/pdf/2005.10821.pdf发表时间：2020多尺度推理是提高语义分割结果的常用方法。多个图像尺度通过网络，然后将结果与平均或最大池化相结合。在这项工作中，我们提出了一种基于注意力的方法来结合多尺度预测。我们表明，在特定尺度上的预测更能解决特定的故障模式，并且网络学会了在这种情况下支持这些尺度，以产生更好的预测。我们的注意力机制是分层的，这使得它的训练效率比其他最近的方法高4倍。...
MUSE: PARALLEL MULTI-SCALE ATTENTION FOR SEQUENCE TO SEQUENCE LEARNING
Jeaksun的博客
06-05 1592
在顺序学习中，自我注意机制被证明是非常有效的，并在许多任务中取得了显著的改善。然而，自我注意机制也并非没有缺陷。虽然自我注意可以模拟极长的依赖关系，但深层的注意力往往过于集中在单一的表征上，导致对局部信息的充分利用，并难以表征长序列。在这项工作中，本文探索了序列数据上的并行多尺度表征学习，努力捕捉长程和短程语言结构。为此，本文提出了并行多尺度注意(MUSE)和MUSE-SIMPLE。本文将重点放在机器翻译上，提出的方法在性能上比Transformer有了很大的提高，特别是在长序列上。...
每日Attention学习2——Multi-Scale Convolutional Attention
xiongxyowo的博客
05-09 875
MSCA包含三个部分：一个深度卷积以汇总局部信息；一个多分支深度条带卷积以获取多尺度上下文；一个1×1卷积以建模不同通道之间的信息。该1×1卷积的输出将直接作为注意力以对MSCA的输出结果进行后处理加权。
多尺度卷积+注意力机制=准确率接近100%！
2401_88556812的博客
11-15 2607
通过多尺度卷积，模型能够捕获不同尺度的特征，而注意力机制则帮助模型聚焦于更重要的特征，从而提高模型的识别能力和准确性。3D-CNN模型能够自动从原始数据中提取信息特征，而无需大量的预处理，这在传统的浅层神经网络中难以实现。在编码器和解码器模块中分别引入混合注意力机制，以推断输入中间特征图中空间点的重要性和通道间关系特征。通过多分支卷积和池化操作，分别提取每种模态的浅层和深层特征，增强了模型对不同层次特征的捕捉能力。通过在深度可分离卷积层中使用多尺度卷积核，扩大了卷积感受野，提高了特征信息的丰富度。
多尺度注意力机制的语义分割
吴建明wujianming_110117
06-19 4524
多尺度注意力机制的语义分割 Using Multi-Scale Attention for Semantic Segmentation 在自动驾驶、医学成像甚至变焦虚拟背景中，有一项重要的技术是常用的：语义分割。这是将图像中的像素标记为属于N个类（N是任意数量的类）之一的过程，其中类可以是汽车、道路、人或树等。对于医学图像，类对应于不同的器官或解剖结构。 NVIDIA是一种应用广泛的语义分割技术。还认为，改进语义分割的技术也可能有助于改进许多其密集预测任务，如光流预测（预测物体运动）、图像超分辨率等。
【基于多尺度的融合：IVIF】
weixin_43690932的博客
12-14 1798
仅供自己参考
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值