【IVIF】Infrared and visible image fusion with entropy-based adaptive fusion module and mask-guided co

本文的思想也是把源图像分别分解为Base和Detai层,然后分别融合。
分别代表什么?-------基础层主要考虑图像的像素强度信息,细节层考虑图像的纹理细节。
本文的手动标注的Mask怎么用的?------设计了一个掩码损失
本文使用了两次GF,将图像分解为一级基础层、二级基础层和细节层,一级基础层的融合使用的基于图像质量和信息熵的熵自适应融合模块
使用了最大绝对值规则来融合二级基础层
对于包含许多纹理和边缘的细节层,我们构建了一个基于掩模引导的深度卷积神经网络来融合它,这里的掩码是在训练集中对IR手动人工标注的
融合细节层又使用显著掩码分解为前景目标部分和背景部分--------别人都是对源图像做这样的分解
来源:Infrared Physics and Technology 2023 Code
代码公开

在这里插入图片描述

1、怎么分解的?

第一次使用GF得到Base层,源图像减去B就得到Deatil层。

2、Base怎么融合的?

在大多数传统方法中,通常使用平均规则直接融合基础层。在本文中,我们提出根据源图像本身的属性对图像进行自适应融合,并使用深度神经网络进行无参考图像质量评估(IQA)[36]来评估每张图像的质量。IQA分数越高,图像质量越高,模糊和噪点越少。此外,考虑到融合图像应该包含更多的源图像信息,仅依靠IQA无法评估信息的数量。因此,我们使用客观度量熵[37]来度量每个输入图像的平均信息量。

### DIVFusion 方法概述 DIVFusion 是一种专门针对黑暗环境设计的红外与可见光图像融合方法。该技术旨在通过有效结合两种模态的信息来提高视觉效果和识别准确性。 #### 主要特点 - **多尺度特征提取**:利用卷积神经网络自动学习不同层次的空间细节[^1]。 - **光照不变性处理**:引入特定机制消除低照度条件下产生的噪声干扰,增强目标检测能力。 - **结构保持优化**:确保融合后的图像能够保留原始场景的关键结构性信息。 #### 技术流程 1. 对输入的红外及可见光图片分别进行预处理操作; 2. 应用精心设计的编码器解码器架构捕捉并整合两者间的互补特性; 3. 经过一系列后处理步骤生成最终高质量输出结果。 ```python import torch.nn as nn class EncoderDecoder(nn.Module): def __init__(self, in_channels, out_channels): super(EncoderDecoder, self).__init__() # 定义编码器部分 self.encoder = nn.Sequential( nn.Conv2d(in_channels, 64, kernel_size=3), nn.ReLU(), ... ) # 定义解码器部分 self.decoder = nn.Sequential( nn.ConvTranspose2d(64, out_channels, kernel_size=3), nn.Sigmoid() ) def forward(self, x_ir, x_vis): feat_ir = self.encoder(x_ir) feat_vis = self.encoder(x_vis) fused_feat = (feat_ir + feat_vis) / 2 output = self.decoder(fused_feat) return output ``` 此代码片段展示了如何构建一个简单的基于PyTorch框架下的编码器-解码器模型来进行图像融合任务的一部分实现逻辑。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值