【IVIF】MAFusion: Multiscale Attention Network for Infrared and Visible Image Fusion

本篇的Baseline应该是DeepFuse,两阶段训练,固定AE后,再加入中间的融合层训练。融合策略的方式可以留意一下,把源图像的特征作差得到差异特征,然后求取加权值。
编码器提取了4级多尺度特征,解码器中作者也是想使用多尺度的跳跃连接(有很多实现方式,作者试了一种)
损失函数就一个平均梯度算子提取的梯度损失和一个像素强度损失。
发表自TIM 2022
代码公开

在这里插入图片描述

1、融合策略

在这里插入图片描述

  1. 作差,取全局最大池化,除以最大值,归一化到 [0,1] 。这里IR-VIS,然后VIS-IR得到了两个插值图。
  2. 再通过Repeat操作,变换回与插值图一样的维度,除以插值图的最大值,归一化到【0,1】,如此一来,每个点的权重就不同了。我一开始以为他是作差,直接归一化,然后复制回与插值图一样的维度,这样,每一一个长条权重都是一样的了,这样就还好点

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值