通用图像融合框架论文及代码整理

已于 2024-09-23 15:50:15 修改
阅读量7.8k 收藏 73
点赞数 11
分类专栏： 图像融合 深度学习 Paper下载 文章标签： 深度学习
于 2022-04-25 17:11:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/fovever_/article/details/124406720
版权

通用图像融合框架论文及代码整理

首先附上近期整理基于深度学习的图像融合论文的思维导图
在这里插入图片描述

本篇博客主要整理通用图像融合框架的论文和代码

图像融合系列博客还有：

  1. 图像融合论文及代码整理最全大合集参见：图像融合论文及代码整理最全大合集
  2. 图像融合综述论文整理参见：图像融合综述论文整理
  3. 图像融合评估指标参见：红外和可见光图像融合评估指标
  4. 图像融合常用数据集整理参见：图像融合常用数据集整理
  5. 通用图像融合框架论文及代码整理参见：通用图像融合框架论文及代码整理
  6. 基于深度学习的红外和可见光图像融合论文及代码整理参见:基于深度学习的红外和可见光图像融合论文及代码整理
  7. 更加详细的红外和可见光图像融合代码参见：红外和可见光图像融合论文及代码整理
  8. 基于深度学习的多曝光图像融合论文及代码整理参见：基于深度学习的多曝光图像融合论文及代码整理
  9. 基于深度学习的多聚焦图像融合论文及代码整理参见：基于深度学习的多聚焦图像融合(Multi-focus Image Fusion)论文及代码整理
  10. 基于深度学习的全色图像锐化论文及代码整理参见：基于深度学习的全色图像锐化(Pansharpening)论文及代码整理
  11. 基于深度学习的医学图像融合论文及代码整理参见：基于深度学习的医学图像融合(Medical image fusion)论文及代码整理
  12. 彩色图像融合参见: 彩色图像融合
  13. SeAFusion:首个结合高级视觉任务的图像融合框架参见：SeAFusion:首个结合高级视觉任务的图像融合框架

传统的通用图像融合框架

1. A general framework for image fusion based on multi-scale transform and sparse representation [MST-SR(IF 2015)] [Paper] [Code]

基于深度学习的图像融合框架

1. IFCNN: A general image fusion framework based on convolutional neural network [IFCNN(IF 2020)] [Paper] [Code]

2. FusionDN: A Unified Densely Connected Network for Image Fusion [FusionDN(AAAI 2020)] [Paper] [Code]

3. Rethinking the Image Fusion: A Fast Unified Image Fusion Network based on Proportional Maintenance of Gradient and Intensity [PMGI(AAAI 2020)] [Paper] [Code]

4. Deep Convolutional Neural Network for Multi-Modal Image Restoration and Fusion [CU-Net(TPAMI 2021)] [Paper]

5. SDNet: A Versatile Squeeze-and-Decomposition Network for Real-Time Image Fusion [SDNe(IJCV 2021)] [Paper] [Code]

6. Unsupervised Deep Image Fusion With Structure Tensor Representations

[DIF-Net(TIP 2021)] [Paper] [Code]

7. IFSepR: A general framework for image fusion based on separate representation learning [IFSepR(TMM 2021)] [Paper]

8. Multiple Task-Oriented Encoders for Unified Image Fusion [MTOE(ICME 2021)] [Paper]

9. U2Fusion: A Unified Unsupervised Image Fusion Network [U2Fusion(TPAMI 2022)] [Paper] [Code]

10. SwinFusion: Cross-domain Long-range Learning for General Image Fusion via Swin Transformer [SwinFusion(JAS 2022)] [Paper] [Code]

11. Fusion from Decomposition: A Self-Supervised Decomposition Approach for Image Fusion [DeFusion(ECCV 2022)] [Paper]

12.UIFGAN: An unsupervised continual-learning generative adversarial network for unified image fusion [UIFGAN(IF 2023)] [Paper]

如有疑问可联系：2458707789@qq.com; QQ好友备注 姓名+学校

【多传感器融合】BEVFusion: 激光雷达和视觉融合框架 NeurIPS 2022
黎国溥
12-01 8903
BEVFusion其实有两篇，NeurIPS 2022 | 北大&阿里提出。另一篇是ICRA 2023 | MIT提出。本文先分享阿里那篇，下面简单总结一下两篇论文。重点: 介绍了一个融合摄像头和激光雷达数据的框架，用于3D对象检测。其创新之处在于使摄像头流程不依赖激光雷达输入，解决了现有方法过度依赖激光雷达数据的局限性。方法: BEVFusion框架使用两个独立流程来处理激光雷达和摄像头数据然后在鸟瞰视图(BEV)层面进行融合。这种方法即使在激光雷达功能失常，或摄像头失常的情况下也保证了稳健性。性能。
【图像去噪】论文精读：Learning Deep CNN Denoiser Prior for Image Restoration（IRCNN）
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
08-28 1250
论文题目：Learning Deep CNN Denoiser Prior for Image Restoration —— 学习深度CNN降噪先验用于图像重建CVPR 2017！基于模型的优化方法和判别学习方法是解决低级视觉中各种逆问题的两个主要策略。通常，这两种方法各有优缺点，例如基于模型的优化方法可以灵活地处理不同的逆问题，但通常需要复杂的先验才能获得良好的性能;同时，判别学习方法测试速度快，但其应用范围受到专业任务的限制很大。
论文研究-基于中介真值程度的图像融合效果评价方法.pdf
07-23
针对图像融合效果评价问题，将处理模糊信息的中介数学系统引入到图像融合效果评价中，以中介真值程度的数值化度量为基础，提出了一种基于中介真值程度的图像融合效果评价方法。该方法结合先验知识和选取的定量评价指标，并引入了理想融合图像的概念，以中介真值程度的数值化度量中的距离比率函数度量作为图像融合结果的优劣评判标准，实现对各个融合图像效果的综合评价，兼顾了实际评价工作中的通用性和特殊性要求。实验结果表明，该评价方法具有较好的有效性、实时性和简洁性，进一步丰富完善了图像融合理论框架，具有启发意义和实用价值。
Multi-focus image fusion with a deep convolutional neural network
10-25
本论文是最近发表的关于神经网络算法对多聚焦融合的一个改进算法，效果很好。
多模态学习（八）：2022 TPAMI——U2Fusion: A Unified Unsupervised Image Fusion Network
最新发布
aminghhhh的博客
04-03 1077
本研究提出了一种新型的统一且无监督的端到端图像融合网络（U2Fusion），能够解决多模态、多曝光、多焦点等不同融合任务。通过特征提取和信息度量，U2Fusion自动估计源图像的重要性并生成自适应信息保留度，从而将不同融合任务统一到同一框架中。基于自适应保留度，网络通过保持融合结果与源图像之间的相似性进行训练，显著缓解了深度学习在图像融合中依赖真值标签和专用设计指标的核心障碍。通过避免多任务顺序训练导致的能力丢失，我们获得了适用于多种任务的统一模型。
基于深度学习的全色图像锐化(Pansharpening)论文及代码整理
热门推荐
fovever_的博客
04-30 1万+
基于深度学习的全色图像锐化(Pansharpening)论文及代码整理。主要从有监督的全色图像锐化框架和无监督的全色图像锐化框架两个方面来整理现有的基于深度学习的全色图像锐化论文。
基于深度学习的医学图像融合(Medical image fusion)论文及代码整理
fovever_的博客
05-01 1万+
基于深度学习的医学图像融合(Medical image fusion)论文及代码整理。主要将已有的基于深度学习的医学图像融合算法归类为基于卷积神经网络的医学图像融合框架和基于生成对抗网络的医学图像融合框架。
论文笔记：Multi-focus image fusion with a deep convolutional neural network
浅若清风cyf的博客
12-21 5023
论文笔记：Multi-focus image fusion with a deep convolutional neural network 年份：2016 实验室：合肥工业大学生物医学工程系、中国科技大学自动化系 名词总结： 景深（depth-of-field (DOF)） 活动水平测量（activity level measurement） 融合规则（fusion rule） 聚焦图（focus map） 二值图（binary map） 一致性检验（consistency verification）
Image Segmentation-based Multi-focus Image Fusion through Multi-scale Convolutional Neural Network
weixin_45043668的博客
03-09 752
《Image Segmentation-based Multi-focus Image Fusion through Multi-scale Convolutional Neural Network》 一、概述 文章通过基于图像分割的方式进行多聚焦图像融合。文章发表于2017年，与CNN Fuse的论文同年发表，从内容上看像是基于CNN Fuse的改进。 算法整体思路与CNN Fuse思路较为相近...
论文阅读：多模态医学图像融合方法的研究进展
OctYZ的博客
09-29 3368
基于深度学习的多模态医学图像融合算法仍是主流方法。最新的方法进展不但运用了深度学习模型，而且在特征提取阶段结合了传统方法以优化细节，提高融合质量。
OCTEC公司多分辨率图像融合框架研究
Piella在2003年的论文中提出了一个通用的多分辨率图像融合框架。根据描述，他的研究涵盖了从像素到区域的多种融合策略，这意味着他的工作不仅包括了像素级的融合，还涉及了区域级的融合策略。通过这种方式，能够更...
彩色图像融合算法与技术的研究
12-02
做图像融合时找到的一篇文章，觉得还好就上传了，有需要的才下载哦
图像融合论文
05-04
Image fusion combines information from multiple images of the same scene to obtain a composite image which is more suitable for further image processing tasks. This study presented an image fusion scheme based on the modified dual pulse coupled neural network (PCNN)
Multi-focus image fusion with a deep convolutional neural network的源码
10-25
Multi-focus image fusion with a deep convolutional neural network的源码
有关于图像融合的论文
04-23
论文图像融合论文图像融合论文图像融合论文图像融合论文
数据融合matlab代码-Pansharpening-ConvolutionalAutoEncoder:基于卷积自动编码器的多光谱图像融合：h
05-22
数据融合matlab代码基于卷积自动编码器的多光谱图像融合 概述 该存储库包含运行基于深度学习的全色锐化方法以在遥感应用中融合全色和多光谱图像所必需的代码。 有关该算法的详细信息，请参见我们的论文。 用法：泛锐化 基于卷积自动编码器的多光谱图像融合是基于卷积自动编码器体系结构的一种基于深度学习的多光谱图像融合新方法。 有关更多信息，请参见以下文章： A. Azarang，HE Manoochehri，N。Kehtarnavaz，基于卷积自动编码器的多光谱图像融合，IEEE Access。 怎么跑 首先，您需要使用Data_Generation.m来准备要在我们的锐化框架中使用的数据。 我们仅使用4波段多光谱（MS）数据进行研究。 （B，G，R，NIR频段） Add path of your data 该路径应包含MS和PAN​​colour（PAN）数据。 另外，它可以是.mat文件（MAT文件）。 Importing the MS and PAN data 运行Data_Generation.m之后，将3个文件保存到该目录： Input.m // it is used to serv
【图像融合】泊松彩色图像融合【含Matlab源码 1830期】
订阅付费专栏Matlab（奶茶价版），可赠送奶茶价版付费专栏指定代码1份；
01-16 359
泊松彩色图像融合 完整的代码，方可运行；可提供运行操作视频！适合小白！
【图像融合】小波变换彩色图像融合（带面板）【含GUI Matlab源码 782期】
订阅付费专栏Matlab（奶茶价版），可赠送奶茶价版付费专栏指定代码1份；
12-02 1824
小波变换彩色图像融合（带面板） 完整的代码，方可运行；可提供运行操作视频！适合小白！
【图像融合】基于matlab GUI高斯金字塔+拉普拉斯金字塔彩色图像融合【含Matlab源码 1506期】
订阅付费专栏Matlab（奶茶价版），可赠送奶茶价版付费专栏指定代码1份；
11-10 4084
一、区域分割图像融合简介 图像的分解 对源图像进行融合时,首先对图像进行分解,利用拉普拉斯金字塔分解,先对图像进行高斯金字塔分解,然后再进行拉普拉斯金字塔分解。 1 高斯金字塔分解 记源图像为G0,G0即为高斯金字塔最底层,将其进行高斯低通滤波,之后对其进行隔行隔列的下采样,得到的图像与源图像在较低分辨率上近似,分辨率是源图的一半(高斯金字塔的第一层G1)。重复上述操作,得到下一层高斯金字塔。反复进行上述操作,得到若干层,即构成高斯金字塔。假设高斯金字塔的第l层图像为Gl: 2 拉普拉斯金字塔分解 将上
transformer 图像融合
04-02
<think>好的，用户想了解如何使用Transformer进行图像融合的方法和实现。首先，我需要回顾一下相关的引用资料，特别是引用3和4，因为它们直接提到了SwinFusion和MCT-Net这两个基于Transformer的图像融合方法。 首先，引用3介绍了SwinFusion，它使用Swin Transformer来处理多模态图像融合，比如可见光和红外图像的融合。Swin Transformer的层次化设计和局部窗口注意力机制能够有效捕捉长程依赖，同时减少计算量。用户可能需要了解具体的结构设计，比如如何将图像分块输入Transformer，以及如何结合CNN和Transformer的优势。 然后，引用4提到MCT-Net，它采用多层次交叉Transformer模块（MCT）来进行高光谱和多光谱图像的融合。这里的关键在于跨模态的注意力机制，通过交叉注意力让不同模态的特征交互，再通过特征聚合模块重建高分辨率图像。需要解释交叉注意力是如何工作的，以及多尺度特征的处理方法。 接下来，用户可能需要了解具体的实现步骤，比如数据预处理、模型架构、损失函数设计等。例如，SwinFusion可能包括编码器、Swin Transformer块、解码器等部分。而MCT-Net则可能涉及多尺度特征提取和跨模态交互模块。 另外，需要比较这些方法与传统的CNN方法的区别，比如Transformer在处理全局信息上的优势，以及如何解决计算量大的问题。例如，Swin Transformer的窗口注意力减少了计算复杂度，使其适用于高分辨率图像。 还要考虑代码实现的框架，比如PyTorch，以及开源项目的参考，如SwinFusion的GitHub仓库。用户可能对实际的代码结构感兴趣，比如如何定义Transformer层，如何处理多模态输入等。 最后，需要总结这些方法的共同点和创新点，以及未来的发展方向，如扩展到其他融合任务或优化计算效率。同时，根据用户提供的引用，确保在回答中正确标注引用来源，比如[^3]和[^4]。 在生成相关问题时，要覆盖方法、实现细节、优势、应用场景和挑战等方面，帮助用户进一步探索。例如，如何设计跨模态注意力，如何处理不同模态的数据差异，或者实际应用中的性能表现如何。</think>### Transformer在图像融合中的应用方法与实现 #### 一、核心方法 1. **全局特征建模** Transformer通过自注意力机制（Self-attention）捕捉图像长程依赖关系，解决了传统CNN局部感受野的限制。例如，SwinFusion采用**分层Swin Transformer模块**，在局部窗口内计算注意力，并通过窗口移位实现跨窗口信息交互，显著提升多模态图像（如可见光与红外）的融合效果[^3]。 2. **跨模态交互设计** - **交叉注意力（Cross-attention）**：如MCT-Net中的多层次交叉Transformer（MCT），通过跨模态注意力权重动态融合高光谱（HSI）与多光谱（MSI）特征。公式表示为： $$ \text{Attention}(Q,K,V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V $$ 其中$Q$来自一个模态，$K,V$来自另一模态。 - **多尺度特征融合**：结合CNN提取的局部细节与Transformer捕获的全局上下文，例如在编码器中使用卷积层，解码器中集成Transformer模块。 #### 二、典型实现流程（以SwinFusion为例） ```python # 伪代码示例：基于PyTorch的SwinFusion核心组件 import torch from swin_transformer import SwinTransformerBlock class FusionEncoder(nn.Module): def __init__(self): self.conv = nn.Conv2d(3, 64, kernel_size=3) # 初始特征提取 self.swin_blocks = nn.Sequential( SwinTransformerBlock(dim=64, num_heads=4, window_size=8), SwinTransformerBlock(dim=64, num_heads=4, window_size=8) ) class FusionDecoder(nn.Module): def __init__(self): self.upconv = nn.ConvTranspose2d(64, 3, kernel_size=3) self.skip_connection = nn.Conv2d(3, 3, kernel_size=1) def forward(self, img1, img2): fused_features = encoder(img1, img2) # 跨模态特征融合 output = decoder(fused_features) return output ``` #### 三、关键技术优势 1. **长程依赖建模**：相比CNN的局部操作，Transformer可覆盖整幅图像的关联性，尤其在医学图像融合中能保留器官结构的完整性[^1]。 2. **多模态对齐**：通过交叉注意力机制，自适应调整不同模态（如红外与可见光）的特征贡献权重。 3. **计算效率优化**：Swin Transformer的窗口划分策略将计算复杂度从$O(N^2)$降至$O(N)$（$N$为图像分块数）[^3]。 #### 四、应用场景 1. **多模态医学影像融合**：如CT与MRI的融合，提升病灶定位精度[^1] 2. **遥感图像融合**：高光谱与多光谱数据融合用于环境监测 3. **数字摄影融合**：多曝光/多焦距图像合成高动态范围（HDR）图像
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Timer-419

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值