【论文阅读】MetaFusion: Infrared and Visible Image Fusion via Meta-Feature Embedding from Object Detection

最新推荐文章于 2025-10-02 19:34:55 发布
原创 最新推荐文章于 2025-10-02 19:34:55 发布 · 1.5k 阅读 · 13 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #计算机视觉 #深度学习 #图像处理 #论文阅读

MetaFusion: Infrared and Visible Image Fusion via Meta-Feature Embedding from Object Detection（CVPR2023）

现有方法存在问题：

Separate Optimization忽略了对象检测对图像融合的正面影响，因为它孤立地训练每个任务，缺乏任务间的互动与互补。

Cascaded Optimization虽然尝试结合两者，但因直接用高级的对象检测约束低级的图像融合，导致特征不匹配，影响了优化效果。

这两种方法都未能充分利用两个任务之间的相互促进潜力。

本文贡献：

提出了一种元特征嵌入网络（MFE）。思路是，如果M F E 根据IVIF网络能力生成OD特征，那么OD特征自然兼容IVIF网络，并且可以通过模拟元学习来实现优化。

（1）我们探索了IVIF和OD的联合学习框架，并提出了MetaFuison以在这两个任务上获得优异的性能。

（2）元特征嵌入网络旨在生成弥合F和D之间差距的元特征。

（3）随后，引入F和D之间的相互促进学习以提高其性能。

(4)大量的图像融合和目标检测实验验证了该方法的有效性。

研究方法

元特征嵌入

最低0.47元/天 解锁文章
【论文阅读| CVPR 2023 |MetaFusion：通过对象检测的元特征嵌入进行红外和可见光图像融合】
berling00的博客
03-29 2954
题目：MetaFusion: Infrared and Visible Image Fusion via Meta-Feature Embedding from Object Detection会议：Computer Vision and Pattern Recognition（CVPR）论文：链接代码：https://github.com/wdzhao123/MetaFusion年份：2023融合红外图像和可见光图像能够为后续的目标检测任务提供更多的纹理细节。反过来，目标检测任务则提供目标的语义信息，以提
论文阅读-图像融合：Bayesian fusion for infrared and visible images（红外图像和可见光图像的贝叶斯融合）
weixin_47875944的博客
05-20 714
1-利用可见光图像的梯度及详细纹理信息和红外图像的热辐射得到高亮目标的融合图像。2-图像融合过程转化为回归问题3-层次贝叶斯方法建立模型以测量变量的不确定性4-引入了全变差惩罚，期望最大化算法（对模型进行有效判断）5-融合图像具有高光目标，以及丰富的纹理细节。提高了目标自动检测和识别系统的可靠性。#多模态融合两个及以上的不同类的图像融合！贝叶斯融合：图像内的特征融合？#全变差惩罚？？？
文本引导的图像融合方法
Prettybritany的博客
10-02 1229
首先，使用BLIP2、GRIT、Segment Anything对图像生成Image Caption, Dense Caption, and Semantic Mask，然后将它们喂到chatgpt来生成文本描述text，再将text输入到frozen的BLIP2得到文本特征，最后，将text的特征concat作为q与图像特征计算cross attention再解码。，1、2、3是分开描述，4、5是很全的描述。1.使用clip对text进行编码，将编码后的特征映射到和图像特征统一的维度上，然后作为。
【红外与可见光图像融合】BTSFusion: Fusion of infrared and visible image via a mechanism of balancing texture and
learnererer的博客
04-18 1521
在图像融合领域，保留源图像中最大量的相关信息在融合结果中是学者们的共识。然而，对于哪些信息应该被视为“有效”信息，仍然存在持续的争论。现有算法主要关注保留红外图像中的亮度信息和可见光图像中的纹理细节。我们旨在保持相对较少的模型参数数量，同时确保融合性能。作为一个端到端的模型，BTSFusion的目标是保持模型中前向结构的简洁，同时实现上述保留特征的目标。在网络框架的设计中，我们将算法的复杂性分配到损失函数中。
元学习：IVIF:输入不同分辨率，输出任意分辨率
weixin_43690932的博客
12-09 1396
仅供自己参考
MetaFusion: Infrared and Visible Image Fusion via Meta-Feature Embedding from Object Detection 论文解析
qq_47011000的博客
02-28 2549
对红外-可见光图像融合论文 MetaFusion (CVPR 2023) 的个人理解。
Efficient and Model-Based Infrared and VisibleImage Fusion via Algorithm Unrolling
m0_74368738的博客
12-07 287
5、提出基于优化的图像分解模型，分解为基本图像B（低频信息）和细节图像D（高频信息）。2、流行的分解方法：金字塔变换、离散余弦变换、非下采样轮廓波变换、双边滤波器。4、新兴技术：算法展开。快速稀疏编码（将迭代算法计算图扩展为一个DNN）1、建立两个传统的优化模型实现两尺度分解。3、代表模型是AE和 U-net变体。
红外与可见光融合学习（十）2025TPAMI综述：Infrared and Visible Image Fusion: From Data Compatibility to Task Adaption
aminghhhh的博客
04-15 2818
红外-可见光图像融合（IVIF）是计算机视觉领域的一项基本且关键任务。其目标是将红外和可见光谱的独特特性整合成一个整体表示。自2018年以来，越来越多的多样化IVIF方法进入了深度学习时代，涵盖了广泛的网络结构和损失函数，以提升视觉增强效果。随着研究的深入和实际需求的增长，一些复杂问题，如数据兼容性、感知精度和效率，无法被忽视。遗憾的是，缺乏最近的综述文章来全面介绍和组织这一不断扩展的知识领域。鉴于当前的快速发展，本文旨在填补这一空白，提供一份全面的综述，涵盖广泛的方面。
【ECCV2020】完整论文集part2
TomRen
07-18 8009
ECCV2020 接收论文完整列表 看论文学CV
【CVPR2019】论文完整列表一
热门推荐
TomRen
06-11 1万+
CVPR 2019 Paper list[1-1000] CVPR2019 完整列表二 论文题目与链接 Finding Task-Relevant Features for Few-Shot Learning by Category Traversal Edge-Labeling Graph Neural Network for Few-Shot Learning G...
MATLAB代码 Bayesian-Fusion-main_红外和可见光图像的贝叶斯融合_图像融合_
10-01
（信号处理2020） 红外和可见光图像的贝叶斯融合
MCnet: Multiscale visible image and infrared image fusion network---（多尺度可见光图像和红外图像融合网络 ）2023
wsgaolitou的博客
04-20 2183
多尺度可见光图像和红外图像融合
论文阅读-Event-based Visible and Infrared Fusion via Multi-task Collaboration
luralying的博客
11-09 2130
假设有一个连续的事件流εε，它的时间范围在区间t0t1[t_0,t_1]t0​t1​内，在这段事件流中存在一组运动模糊帧段IirIi∣i12MIir​Ii​∣i12...M。每个IiI_iIi​都有一个曝光时间窗口titiδ∈t0t1ti​ti​δ∈t0​t1​,其中δ\deltaδ是红外相机的曝光时间长度。EVIFEVIFEVIF的目标是为每个红外帧Ii。
Event-Based Visible and Infrared Fusion via Multi-Task Collaboration
嵌入式人工智能相关
01-03 1169
Event-Based Visible and Infrared Fusion via Multi-Task Collaboration论文阅读
《Infrared and Visible Image Fusion using a Deep Learning Framework》阅读笔记
tiantiandashi的博客
04-06 1973
一、概述 这篇文章发表于2018年，主要是研究视觉图像与红外图像的融合，作者之后还发表了DenseFuse。 这篇文章的主要思路是将待融合的红外图像与视觉图像分解为基础部分与高频部分，之后分别对这两部分分别采取不同的策略进行融合得到融合基础部分与融合高频部分，最后利用这两部分重建融合图像。 这种将图像分解为两种不同尺度部分的方法我认为主要是为了解决待融合图像大尺度信息相差较大的图像融合任务，例如...
MAFusion:Multiscale Attention Network for Infrared and Visible Image Fusion
wsgaolitou的博客
04-16 1136
该算法有效处理融合后的图像存在的伪影和不一致性（融合图像丢失重要信息）问题。
【浅读论文-红外和可见光图像融合-CNN】Infrared and Visible Image Fusion using a Deep Learning Framework
一枚博鼠的博客
11-21 1548
1.这篇是2018年ICPR会议上发表的一篇文章1。博主个人觉得这算比较早期在VIF（红外光和可见光图像融合）中加入了深度学习这一模型的论文。2.这篇文章并不是完全使用深度学习的模型，模型主体在图像分解和融合仍然采用传统的方法，只有其中一个分支在特征提取和重建方面用到了VGG网络。3.论文地址4.代码地址本文提出了基于深度学习框架的一种新算法。本文提出使用下述论文中Image fusion with guided filtering2中的分解方法将源图像分解为基本部分和细节内容。
可见光与红外图像融合 matlab_通过L0分解和强度蒙版实现红外与可见光图像融合...
weixin_33983809的博客
01-27 633
红外图像(IR)能够获取目标热辐射，受光照和天气影响较小。同时红外图像也缺乏场景的细节信息。可见光图像(VIS)相比于红外图像具有更高的空间分辨率，也包含更多的细节和纹理信息。IR和VIS图像的融合更有利于人眼和计算机视觉处理。为此，学者提出了包含稀疏表示融合框架、多分辨率分解融合框架、深度学习融合框架、空域变换融合框架等融合框架并衍生众多融合方法。在上述方法中，针对目标显著性区域和背景...
SPGFusion: Semantic Prior Guided Infrared and visible image fusion via pretrained vision models
最新发布
12-05
SPGFusion 是一种通过预训练视觉模型实现语义先验引导的红外与可见光图像融合方法。 在红外与可见光图像融合领域，传统方法往往缺乏对图像语义信息的有效利用。而 SPGFusion 借助预训练视觉模型获取语义先验知识，以此来指导图像融合过程。 从其名称来看，“Semantic Prior Guided”强调了语义先验的引导作用。语义先验能够帮助融合算法更好地理解图像中的内容，例如区分不同的物体、场景等，从而在融合时保留更有价值的信息。“Infrared and visible image fusion”明确了其应用场景是将红外图像和可见光图像进行融合。红外图像能反映物体的热辐射信息，在夜间或低光照环境下具有优势；可见光图像则包含丰富的纹理和颜色信息。将二者融合可以综合它们的优点，得到更全面、更清晰的图像。“via pretrained vision models”说明了实现方式，利用预训练的视觉模型，这些模型在大规模图像数据集上进行了训练，具有强大的特征提取和语义理解能力，为融合过程提供了有效的语义信息。 例如，在安防监控场景中，通过 SPGFusion 融合红外和可见光图像，既可以利用红外图像发现隐藏在黑暗中的目标，又能借助可见光图像的纹理和颜色信息更准确地识别目标。 ```python # 这里只是一个简单示意，并非实际的 SPGFusion 代码 # 假设存在预训练视觉模型 model 和红外、可见光图像 import cv2 import torch # 加载预训练视觉模型 model = torch.load('pretrained_model.pth') # 读取红外和可见光图像 infrared_image = cv2.imread('infrared_image.jpg', 0) visible_image = cv2.imread('visible_image.jpg') # 这里应该是使用模型获取语义信息并进行融合的过程 # 以下只是简单示例，非真实实现 # 处理图像为模型输入格式 input_image = torch.tensor(visible_image).unsqueeze(0) semantic_info = model(input_image) # 简单的融合示意（非真实 SPGFusion 融合） fused_image = cv2.addWeighted(infrared_image, 0.5, visible_image, 0.5, 0) cv2.imshow('Fused Image', fused_image) cv2.waitKey(0) cv2.destroyAllWindows() ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值