# CVPR 2025| 基于扩散变换器的自适应图像融合框架| 计算机视觉 | 图像编辑

原创于 2025-11-25 15:49:29 发布 · 234 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#计算机视觉 #人工智能

01 论文概述

论文名称：DreamFuse: Adaptive Image Fusion with Diffusion Transformer

—— 基于扩散变换器的自适应图像融合框架

👉一键直达论文

发布时间：11-Apr-2025

会议名称：CVPR

👉Lab4AI大模型实验室论文

🌟 简介

图像融合旨在将多源图像的关键信息融合成单一的、信息更丰富的图像，是计算机视觉中的一项基础而重要的任务。传统方法往往受限于固定的融合规则，容易产生伪影或丢失细节。为了突破这些瓶颈，“DreamFuse” 论文提出了一种基于生成式模型的全新图像融合框架。

DreamFuse 的核心思想是利用 扩散变换器 (Diffusion Transformer, DiT) 的强大生成能力和全局感知能力来重新定义融合过程。它不直接对像素进行混合或加权，而是将多张源图像作为条件，引导一个去噪扩散过程，从而 生成 (generate) 一张全新的、无缝且高质量的融合图像。通过 Transformer 的自适应注意力机制，DreamFuse 能够智能地判断并保留各源图像中最显著的特征，实现了前所未有的融合效果和细节保真度。

🔍 优势

生成式融合范式 (Generative Fusion Paradigm)

颠覆了传统的“混合”思路，通过生成的方式创建融合图像，从根本上避免了常见的拼接缝、伪影和对比度失真问题，输出结果更自然、更连贯。
自适应特征选择 (Adaptive Feature Selection)

借助 Transformer 强大的注意力机制，模型能够自动、动态地学习源图像中不同区域的重要性，并进行自适应融合，无需人工设计复杂的融合策略。
卓越的全局与局部细节保留 (Superior Global & Local Detail Preservation)

Diffusion Transformer 能够同时捕捉长距离依赖关系和局部精细纹理，确保在融合过程中既能保留全局结构信息，又能再现源图像中最微小的细节。
任务通用性强 (High Task Generality)

该框架设计通用，可以轻松应用于多种图像融合任务，包括但不限于：红外与可见光图像融合、多曝光融合 (HDR)、多焦点融合以及医学图像（如 PET-CT）融合。

🛠️ 核心技术

条件扩散模型 (Conditional Diffusion Model)

整个框架基于条件扩散模型。模型将多张源图像作为条件输入，学习从高斯噪声逆向生成到目标融合图像的映射，保证了生成结果的多样性和高质量。
扩散变换器 (Diffusion Transformer - DiT)

使用 Transformer 替代传统 U-Net 作为去噪网络的主干。DiT 的全局感受野使其在理解和融合来自不同图像的空间信息方面具有天然优势。
多源条件注入机制 (Multi-Source Conditioning Mechanism)

设计了高效的条件注入模块，将来自多张源图像的特征编码后，通过交叉注意力 (Cross-Attention) 或自适应归一化 (AdaLN) 等方式，在 DiT 的每一层中引导去噪过程。
注意力驱动的融合 (Attention-Driven Fusion)

融合过程的核心驱动力。模型中的自注意力和交叉注意力层协同工作，在每个去噪步骤中权衡来自不同源图像的特征贡献，最终在生成的图像中实现最优的信息组合。

02 论文原文阅读

您可以跳转到Lab4AI.cn上进行查看。

Lab4AI.cn提供免费的AI翻译和AI导读工具辅助论文阅读；
支持投稿复现，动手复现感兴趣的论文；
论文复现完成后，您可基于您的思路和想法，开启论文创新。

03 一键式论文复现

Lab4AI平台上已上架了此篇复现案例，登录平台即可体验论文复现。

👉Lab4AI项目复现

🛠️ 实验部署

本实验环境已为您精心配置，开箱即用。

💻 代码获取：项目复现代码已存放于 codelab/DreamFuse/code 文件夹中。
🧠 模型说明：codelab/DreamFuse/model 文件夹中存放了预训练的 DreamFuse 模型权重。
📊 数据说明：codelab/DreamFuse/dataset 文件夹中包含了用于多任务融合的示例数据集（如红外/可见光、多曝光图像对）。
🌐 环境说明：运行所需的所有依赖已预安装在 envs/DreamFuse 环境中，您无需进行任何额外的环境配置。

🚀 快速开始

我们已将完整的论文复现流程整合在 codelab/DreamFuse/code/paper_reproduce.ipynb文件中。

1.启动环境：请先激活预设的 Conda 环境

2.配置 Jupyter 内核（首次使用）

# 激活环境
conda activate DreamFuse

# 安装内核 (若环境中没有)
pip install ipykernel -i[https://pypi.tuna.tsinghua.edu.cn/simple]
(https://pypi.tuna.tsinghua.edu.cn/simple)

# 注册内核
kernel_install --name DreamFuse --display-name "python(DreamFuse)"

3.运行实验：刷新 Jupyter Notebook 界面，选择 “python(DreamFuse)” 内核，然后直接运行 paper_reproduce.ipynb 文件中的代码单元，即可快速体验 DreamFuse 带来的高质量图像融合。