【IVIF】Infrared and visible image fusion with entropy-based adaptive fusion module and mask-guided co

本文的思想也是把源图像分别分解为Base和Detai层,然后分别融合。
分别代表什么?-------基础层主要考虑图像的像素强度信息,细节层考虑图像的纹理细节。
本文的手动标注的Mask怎么用的?------设计了一个掩码损失
本文使用了两次GF,将图像分解为一级基础层、二级基础层和细节层,一级基础层的融合使用的基于图像质量和信息熵的熵自适应融合模块
使用了最大绝对值规则来融合二级基础层
对于包含许多纹理和边缘的细节层,我们构建了一个基于掩模引导的深度卷积神经网络来融合它,这里的掩码是在训练集中对IR手动人工标注的
融合细节层又使用显著掩码分解为前景目标部分和背景部分--------别人都是对源图像做这样的分解
来源:Infrared Physics and Technology 2023 Code
代码公开

在这里插入图片描述

1、怎么分解的?

第一次使用GF得到Base层,源图像减去B就得到Deatil层。

2、Base怎么融合的?

在大多数传统方法中,通常使用平均规则直接融合基础层。在本文中,我们提出根据源图像本身的属性对图像进行自适应融合,并使用深度神经网络进行无参考图像质量评估(IQA)[36]来评估每张图像的质量。IQA分数越高,图像质量越高,模糊和噪点越少。此外,考虑到融合图像应该包含更多的源图像信息,仅依靠IQA无法评估信息的数量。因此,我们使用客观度量熵[37]来度量每个输入图像的平均信息量。

SPGFusion 是一种通过预训练视觉模型实现语义先验引导的红外与可见光图像融合方法。 在红外与可见光图像融合领域,传统方法往往缺乏对图像语义信息的有效利用。而 SPGFusion 借助预训练视觉模型获取语义先验知识,以此来指导图像融合过程。 从其名称来看,“Semantic Prior Guided”强调了语义先验的引导作用。语义先验能够帮助融合算法更好地理解图像中的内容,例如区分不同的物体、场景等,从而在融合时保留更有价值的信息。“Infrared and visible image fusion”明确了其应用场景是将红外图像和可见光图像进行融合。红外图像能反映物体的热辐射信息,在夜间或低光照环境下具有优势;可见光图像则包含丰富的纹理和颜色信息。将二者融合可以综合它们的优点,得到更全面、更清晰的图像。“via pretrained vision models”说明了实现方式,利用预训练的视觉模型,这些模型在大规模图像数据集上进行了训练,具有强大的特征提取和语义理解能力,为融合过程提供了有效的语义信息。 例如,在安防监控场景中,通过 SPGFusion 融合红外和可见光图像,既可以利用红外图像发现隐藏在黑暗中的目标,又能借助可见光图像的纹理和颜色信息更准确地识别目标。 ```python # 这里只是一个简单示意,并非实际的 SPGFusion 代码 # 假设存在预训练视觉模型 model 和红外、可见光图像 import cv2 import torch # 加载预训练视觉模型 model = torch.load('pretrained_model.pth') # 读取红外和可见光图像 infrared_image = cv2.imread('infrared_image.jpg', 0) visible_image = cv2.imread('visible_image.jpg') # 这里应该是使用模型获取语义信息并进行融合的过程 # 以下只是简单示例,非真实实现 # 处理图像为模型输入格式 input_image = torch.tensor(visible_image).unsqueeze(0) semantic_info = model(input_image) # 简单的融合示意(非真实 SPGFusion 融合) fused_image = cv2.addWeighted(infrared_image, 0.5, visible_image, 0.5, 0) cv2.imshow('Fused Image', fused_image) cv2.waitKey(0) cv2.destroyAllWindows() ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值