fovever_的博客

聚焦轻量化 AI 与遥感深度融合，本特刊征集模型压缩、高效架构及实时监测等前沿算法，旨在突破资源受限场景下的部署瓶颈。欢迎关注 Remote Sensing (IF 4.1, Q1) 特刊投稿！

本文基于Google Scholar数据，深度盘点2018-2024年图像融合领域27篇引用超500次的巅峰论文。涵盖马佳义、李树涛等领军团队主页、全量论文索引及代码链接，剖析技术演进趋势，助你一文掌握科研前沿。

本文整理了2019-2025年图像融合领域的代表性深度学习方法，重点聚焦红外-可见光融合(IVIF)、多模态融合和通用图像融合三大场景。文章从分类(视觉/语义/配准/鲁棒)、基础框架(CNN/Transformer/Diffusion等)、监督范式(有/无监督)和发表去向四个维度对方法进行系统归类。特别关注了语义驱动融合、退化鲁棒融合等新兴方向，收录了ControlFusion、CDTFusion、DCEvo等最新工作，并提供了论文和代码链接。该整理可作为入门阅读指南和方法对比索引，建议结合其他综述资源共同

摘要 本文提出了一种基于可组合扩散先验的鲁棒多模态图像融合方法(DRMF)，旨在解决现有方法在复杂退化条件下(如低光、噪声、低分辨率)性能受限的问题。该方法通过预训练多个针对不同模态的鲁棒条件扩散模型，利用扩散模型强大的生成能力处理各种图像退化。核心创新在于设计了扩散先验组合模块，能够整合来自不同模态的生成先验，实现有效的多模态信息融合。实验表明，DRMF在红外-可见光和医学图像融合任务中表现优异，尤其在复杂退化条件下显著优于现有方法。代码已开源。

本文提出了一种基于掩模扩散模型的无监督图像融合方法Mask-DiFuser，通过将融合任务转化为双重掩模图像重建任务，有效解决了传统方法因缺乏真实标注数据带来的挑战。该方法设计了创新的双重掩模方案模拟互补信息，结合扩散模型和注意力机制进行特征提取与融合，在红外-可见光、医学、多曝光和多聚焦等多种融合任务上表现优异。实验表明，Mask-DiFuser能生成更符合人类视觉感知的高质量融合图像，显著优于现有最佳方法。该工作为无监督图像融合提供了新思路，具有重要的理论意义和应用价值。

ControlFusion：基于语言-视觉退化提示的可控图像融合网络 针对现有图像融合方法在处理真实场景复合退化时缺乏灵活性的问题，本文提出ControlFusion框架。通过物理驱动的退化成像模型（结合Retinex理论和大气散射原理）模拟红外-可见光双模态的复合退化，为训练提供真实数据支持。网络核心包含提示调制的恢复融合模块，能根据用户文本指令或视觉适配器提取的退化提示动态调整特征，实现自适应增强。空间-频率协同视觉适配器通过频域先验自主感知输入图像的退化程度，减少人工干预。

本文提出C2RF框架，通过共性挖掘和对比学习解决多模态图像配准与融合的关键问题。现有融合方法在源图像错位时会产生伪影，而传统三步式方案完全依赖配准结果。C2RF创新地将多模态图像分解为共享特征和私有特征，缓解配准与融合的矛盾。同时引入基于融合的对比学习机制，利用对齐与错位样本作为正负样本指导配准优化，并设计困难负样本挖掘策略增强对微小伪影的鲁棒性。实验表明，C2RF在可见光-红外和医学图像融合任务中均优于现有方法，尤其在错位场景下表现突出。该框架为多模态图像处理提供了新思路，相关代码已开源。

在撰写论文时有时候会面临超篇幅的情况，这时候一个常用的操作便是使用期刊（会议）的缩写或者半缩写来替换期刊（会议）全称。为了方便自己后续使用相关的缩写 特此整理

最近应该要整理中文资料的参考文献，很多会议文献都需要补全会议地点（新国标要求）。四处百度感觉也挺麻烦的，而且没有比较齐全的网站可以搜索。因此自己整理了一下领域相关的顶会，主要整理的是自以来每一届顶会的会议地点，便于以后整理文献的时候查找。

使用PIL读取图像后对其进行Resize时由于PIL 版本问题出现`AttributeError: module 'PIL.Image' has no attribute 'ANTIALIAS'`，简要介绍相关的Debug过程

科研工具推荐之ReadPaper.之前也用很多朋友在问英文文献如何阅读，一直推荐的是Adobe PDF+有道翻译。最近了解到了另外一个神器 ReadPaper 自己稍微体验了一下 感觉非常nice，特此推荐给大家。

在维护服务器的过程中，有时候会出现一些进程没人认领，这个时候会影响资源的合理分配，也担心系统被人入侵。使用nvidia-smi 以及htop，top也只能知道是哪个进程（PID）占用的资源，但是并不能知道是谁的程序。此时可以通过ll /proc/PID 指令来查看进程所属的目录从而就可以知道是谁的程序了。

在服务器上配置环境时，有时候就想偷个懒，把其他服务器上现成的环境复制过来用，这里记录一下自己新建环境，复制环境，以及通过yml从其他服务器上移植环境，以及最后删除虚拟环境的一些操作或指令。

我们一般使用 VSCode 、MobaXterm、PuTTY等 SSH 客户端来远程管理 Linux 服务器。但是，一般的密码方式登录，容易有密码被暴力破解的问题。所以，一般我们会将 SSH 的端口设置为默认的 22 以外的端口，或者禁用 root 账户登录。但是即使是将端口设置为22之外的端口也容易泄露。为了保证服务器安全，此时希望使用密钥方式登录。而且使用秘钥登录能够避免每次登录时反复输入账户密码。

服务器通常会面临存在不足的问题，大部分服务器都是ubuntu系统，该篇博客浅浅记载一下在ubuntu系统上挂载新硬盘的步骤。本篇博文仅仅记载简单挂载一块新的硬盘，而没有对硬盘进行分区啥的。

这篇博客利用Python把大部分图像融合指标基[图像融合评估指标复现了，从而方便大家更好的使用Python进行指标计算，以及一些I/O 操作。除了几个特征互信息的指标没有成功复现之外，其他指标均可以通过这篇博客提到的Python程序计算得到.

所有主流的基于深度学习的红外和可见光图像融合方法都被集成在了这个框架中。方便大家实验比较。

提供框选部分区域highligh部分区域，以及放大部分区域显示的MATLAB程序。

写在前面：最新想要用最新的分割算法如：Segformer or SegNeXt 在自己的数据集上进行训练，但是有不是搞语义分割出身的，而且也没有系统的学过MMCV以及MMSegmentation。所以就折腾了很久，感觉利用MMSegmentation搭建框架可能比较系统，但是对于不熟悉的或者初学者非常不友好，因此记录一下自己training Segformer的心路历程。

Pytorch 多卡并行训练教程 （DDP），关于使用DDP进行多开并行训练 网上有许多教程，而且很多对原理解析的也比较透彻，但是有时候看起来还是比较懵逼，再啃了许多相关的博客后，博主记录了一些自己对于使用torch.nn.DistributedDataParallel(DDP)进行单机多卡并行训练的一些体会，希望能对入门的小白有一定的帮助，不足之处也希望指出，大家一起交流学习。

之前介绍高效科研工具的时候，有说过在论文中排列图片是的几种方案，其中一种就是用latex排图，可以很好地插入到Latex写作的论文中。

计算机视觉三大顶会论文入口列表

工欲善其事，必先利其器，掌握一些高效的生产力科研工具，可以在我们科研途中起到事半功倍的作用，下面主要介绍一些个人用来提升效率的科研工具套件。

在撰写论文的时候，美观，大气，上档次的图表能够很好地给自己的论文加分。但是在绘制图表的时候往往会面临色彩搭配的问题，选择合适的色彩搭配能够有效地展示自己的方法，但是色彩搭配选择不当的话往往会被人质疑审美也会给论文造成负面影响。这篇博文结合了网上的一些配色方案，并进行了相关总结。希望为自己后续绘图提供色彩搭配的参考，也希望能够帮助到大家。

在撰写论文的时候，美观，大气，上档次的图标能够很好地给自己的论文加分，好的可视化结果也能够让审稿人赏心悦目。但是有时候在可视化图片的时候有可能原始图像过大从而很占内存；这时候就希望能够是有一个无损压缩工具来压缩图像。目前笔者尝试过感觉能够达到较好的压缩效果而且基本上不影响视觉效果。而且也有对应的安装包, TinyGUI 是网友根据TinyPNG提供的应用程序接口开发的本地桌面端工具。b本篇博客主要提供一份Python来遍历文件夹下的所有图片以压缩图片。

最近Information Fusion接收了一篇题为《DIVFusion: Darkness-free infrared and visible image fusion》的文章。在此之前，图像融合领域一直徘徊在利用互补信息，设计loss，引入新的融合规则等。但是忽视了低光场景下可见光信息退化的问题，这将严重影响互补信息的聚合，也即产生不佳的融合结果。DIVFusion一文中给出了一个很新的思想来解决低光下的融合问题，即是耦合互促低光增强与融合，以获得良好视觉感知的融合图像。

一些方便自己处理文件的Python函数用python批量处理文件（复制、重命名比较方便）但是很多函数的用法就是记不住，因此在这里记录一些 以后免得四处去百度

博主朋友关于图像融合的综述论文[基于深度学习的图像融合方法综述](http://www.cjig.cn/jig/ch/reader/view_abstract.aspx?edit_id=20220728162841001&flag=2&file_no=202204300000002&journal_id=jig)已被《中国图象图形学报》正式接收！极力推荐想要入门图像融合领域的小伙伴下载学习，此外希望在图像融合领域深耕的朋友又可以从论文中总结的**挑战和展望**获取一些新的思路。...

作为一项重要的图像增强技术，图像融合在诸如目标检测、语义分割、临床诊断、遥感监测、视频监控和军事侦察等任务中发挥着至关重要的作用。近年来，随着深度学习技术的不断进步，基于深度学习的图像融合算法也如雨后春笋般涌现。尽管深度学习已经在图像融合领域取得了巨大的成功，但是仍存在一些严峻的挑战和难题需要被攻克。.........

本博文全面整理了图像融合领域的论文及代码。主要包括红外和可见光图像融合，医学图像融合，多聚焦图像融合，多曝光图像融合以及全色图像锐化等众多融合场景。同时提供了每个融合场景中常用数据集的下载地址并整理了常用评估指标。有助于新人系统地了解图像融合领域的脉络及发展。............

本博客主要介绍如何处理图像融合问题中的色彩信息。大部分算法都可以将彩色图像从RGB空间转换至YCbCr空间，由于图像的结构细节以及强度信息主要集中在Y通道中，因此通常将Y通道作为融合算法的输入并生成融合的Y通道。对于只有一幅图像包含色彩信息的融合场景像红外和可见光图像融合，医学图像融合，以及近红外和可见光图像融合，只需要将融合的Y通道与彩色图像的Cb和Cr通道转换会RGB空间即可。对于两幅图像都具有色彩信息则根据下式进行融合：

基于深度学习的医学图像融合(Medical image fusion)论文及代码整理。主要将已有的基于深度学习的医学图像融合算法归类为基于卷积神经网络的医学图像融合框架和基于生成对抗网络的医学图像融合框架。

基于深度学习的全色图像锐化(Pansharpening)论文及代码整理。主要从有监督的全色图像锐化框架和无监督的全色图像锐化框架两个方面来整理现有的基于深度学习的全色图像锐化论文。

基于深度学习的多聚焦图像融合(Multi-Focus Image Fusion)论文及代码整理。主要介绍了基于卷积神经网络的多聚焦图像框架和基于生成对抗网络的图像融合框架。

基于深度学习的多曝光图像融合论文及代码整理

图像融合常用数据集整理

图像融合综述论文整理.

通用图像融合框架论文及代码整理

基于深度学习的红外和可见光图像融合论文及代码整理。将基于深度学习的图像融合划分为基于自编码器的图像融合框架、基于卷积神经网络的图像融合框架以及基于生成对抗网络的图像融合框架。...

在SeAFusion发表之前，关于图像融合的研究一直在魔改网络，设计loss function， 调整学习范式中徘徊，SeAFusion给与了我们新的启发，即联系高级视觉任务来研究图像融合。尽管SeAFusion的方法设计还比较简单，但是这也给了我们更多的优化空间。此外之前感觉大家觉得红外和可见光图像融合都已经没啥可做的，主要是TNO数据集的数据集的局限性，导致不同方法都各有各的优势。但是随着一些新的数据集的发布，图像融合依旧任重而道远。