- 博客(46)
- 收藏
- 关注
RSS订阅原创 图像融合论文速读：CFNet: An infrared and visible image compression fusion network
提出了一种基于联合CNN和Transformer以及感兴趣区域的红外和可见光图像压缩融合网络。 首先，研究了压缩任务和融合任务的组合优化，最小化冗余信息。 为实际存储和传输任务带来更好的压缩率。 其次，为网络主架构开发了联合CNN和Transformer模块。 同时，网络聚合了局部位置信息和全局依赖关系，使得网络能够更好地实现压缩和融合任务的联合优化。 此外，基于前景目标掩模构建了感兴趣区域的多通道损失，不仅实现了多通道图像的直接融合，而且带来了更好的压缩比。
2024-12-30 21:10:33
1531
原创 图像融合论文速读：SMAE-Fusion: Integrating saliency-aware masked autoencoder with hybrid attention transforme
SMAE-Fusion是一种新颖的红外-可见光图像融合框架，它将自监督学习范式与显着性感知动态掩蔽相结合。 最初，SMAE-Fusion 利用掩模图像建模，并采用所提出的掩模策略来重建关键区域和目标，有效地弥合了上游预训练和下游任务之间的语义差距。 随后，我们提出了一种混合注意力增强变压器作为特征提取的骨干网络，它通过建模局部和全局特征之间的交互来实现全面有效的特征表示。 此外，渐进式特征融合模块无缝地结合了自注意力和交叉注意力机制，增强了跨模态特征的语义一致性，同时保留了互补信息。
2024-12-30 18:36:13
1223
原创 图像融合论文速读：Conti-Fuse: A novel continuous decomposition-based fusion framework（2024年12月2日）
以往的分解策略（低频及高频、基础和细节）过于粗糙，对源图像的共有特征和独有特征呈现不足，导致融合图像质量下降。该文提出了一种基于==连续分解==的融合框架Conti-Fuse，将分解结果视为沿源图像特征变换轨迹的少数样本，并将这种思路扩展到更一般的状态以实现连续分解。
2024-12-25 17:13:13
1216
原创 图像融合论文速读：SDCFusion_A semantic-driven coupled network for infrared and visible image fusion（2024年）
SDCFusion，将语义分割网络和图像融合网络结合，注意不是以往方法的采用的级联方式，而是将分割网络和融合网络耦合+级联至一个框架中
2024-06-04 15:54:10
2549
9
原创 图像融合论文速读：(PSFusion)一种实用的基于渐进式语义注入和场景保真度的IVIF网络
图像级融合在高级视觉任务中的潜力更大，特别是在大规模模型时代。特别是随着单模态语义分割技术的快速发展，语义驱动的图像级融合可以充分融合多模态数据和SOTA单模态分割技术的优势，无需重新设计，从而更好地应对复杂场景。
2024-04-10 10:38:36
5114
原创 图像融合论文速读：SGFusion: A saliency guided deep-learning framework for pixel-level image fusion
该网络采用双导编码、图像重建解码和显著性检测解码过程，同时从图像中提取不同尺度的特征映射和显著性映射。将显著性检测解码作为融合权值，将图像重构解码的特征合并生成融合图像，可以有效地从源图像中提取有意义的信息，使融合图像更符合视觉感知。
2024-03-29 09:44:33
1911
原创 图像融合论文速读：MUFusion: A general unsupervised image fusion network based on memory unit
该文提出了一种基于新的记忆单元结构的自进化训练的【端到端】的【通用】图像融合模型MUFusion，可以处理多模态图像融合（IVIF、医学）及数字摄影图像融合（多聚焦、多曝光）任务。
2024-03-28 22:21:01
2018
原创 图像融合论文阅读：（TLGAN）Boosting target-level IVIF with regional information coordination
现有的方法【倾向于评估全局信息】，忽略了【特征提取过程中】对【特定目标信息】的保留，导致了一定程度的信息丢失。为了解决这个问题，作者提出了一种【目标级】的IVIF方法，通过【场景纹理关注模块】增强全局信息的互补描述，通过利用加入【目标级损失函数】的【目标提取模块】保留目标区域特征，并通过【目标-场景信息损失函数】的协调，实现了目标信息和场景信息的均衡。
2024-03-25 21:16:56
1662
3
原创 图像融合论文阅读：YDTR: Infrared and Visible Image Fusion via Y-Shape Dynamic Transformer
现有的基于深度学习的方法通常通过卷积运算从源图像中提取互补信息，这导致【全局特征保留有限】。为了解决这个问题，作者提出了一种Y形动态transformer（YDTR）动态transformer模块（DTRM）不仅用来获取局部特征，还可以获取上下文信息。Y形网络可以更好的保留细节此外作者还设计了由结构相似性SSIM和空间频率SF组成的损失函数
2024-01-09 10:15:46
2479
5
原创 图像融合论文阅读：CS2Fusion: 通过估计特征补偿图谱实现自监督红外和可见光图像融合的对比学习
将红外光图像视作可见光图像的补充，使用CPN生成红外图像特征补偿图，以此指导backbone生成融合图像。
2024-01-08 19:42:59
2697
2
原创 图像融合论文阅读：CrossFuse: 一种基于交叉注意机制的红外与可见光图像融合方法
以往的交叉注意力只考虑相关性，而图像融合任务需要关注互补信息。为了解决这个问题，作者提出了CrossFuse，使用【交叉注意力机制CAM】增强互补信息，使用了两阶段训练策略。第一阶段为两种模态训练结构相同的自编码器第二阶段固定编码器参数，训练CAM和解码器
2024-01-08 11:40:50
9005
6
原创 图像融合论文阅读：(DIF-Net)Unsupervised Deep Image Fusion With Structure Tensor Representations
早期2020年的一篇CNN-VIF论文。使用CNN完成特征提取、特征融合、图像重建。使用【多通道图像对比度】的【结构张量】作为损失函数
2024-01-05 10:11:05
1638
1
原创 图像融合论文阅读：MURF: Mutually Reinforcing Multi-Modal Image Registration and Fusion
以往的方法是将配准和融合分开，作者提出的新方法是将两者结合并相互促进。
2024-01-04 18:25:09
4768
5
原创 图像融合论文阅读：A Deep Learning Framework for Infrared and Visible Image Fusion Without Strict Registration
以往的融合算法需要在配准的图像上进行，为了解决这个问题，作者提出了一种融合不需要严格配准可见光和红外图像的算法，该算法利用CNN和Transformer分层交互嵌入模块（CNN-Transformer Hierarchical Interactive Embedding ， CTHIE）提取特征，设计了一个动态聚合特征表示（Dynamic Re-aggregation Feature Representation ， DRFR）模块用来配准。
2024-01-04 09:32:51
5653
2
原创 图像融合论文阅读：Real-time infrared and visible image fusion network using adaptive pixel weighting strategy
采用【自适应像素加权】（Adaptive Pixel Weighting strategy， APWNet）策略融合图像，并联合【目标检测】下游任务。具体来说，将可见光和红外光图像concat后输入卷积层，提取权值图，然后将其分别与对应的源图逐元素乘和加操作得到融合图像，将融合图像作为yolov5s的输入进行目标检测。（在训练过程中，根据检测结果反向优化网络参数）
2024-01-02 16:27:30
4151
3
原创 图像融合论文阅读：DDFM: Denoising Diffusion Model for Multi-Modality Image Fusion
这篇文章和CDDFuse是同一个团队的成果。作者利用扩散概率模型DDPM（denoising diffusion probabilistic model ）用在多模态图像融合任务中，提出了去噪扩散图像融合模型（Denoising Diffusion image Fusion Model (DDFM)），融合任务被定义为了在DDPM采样网络下的条件生成问题，并进一步划分为了：无条件生成和最大似然这两个子问题。
2024-01-02 10:15:37
2915
5
原创 图像融合论文阅读：Dif-fusion: Towards high color fidelity in infrared and visible image fusion with diffusion
以往的VIF网络将多通道图像转换为单通道图像，忽略了【颜色保真】，为了解决这个问题，作者提出了【基于扩散模型】的图像融合网络【Dif-Fusion】，在具有正向扩散和反向扩散的潜在空间中，使用降噪网络【建立多通道数据分布】，然后降噪网络【提取】包含了可见光信息和红外信息的【多通道扩散特征】，最后将扩散特征输入多通道融合模块生成三通道的融合图像。
2023-12-28 17:08:23
2084
3
原创 图像融合论文阅读：CoCoNet: 基于多层特征集成的耦合对比学习网络多模态图像融合
作者提出了一种耦合对比学习网络CoCoNet，这是一个【通用】的图像融合网络。使用耦合对比学习来指导模型区分目标以及纹理细节，并且采用了一种测量机制来计算源图像的比例重要性，以生成数据驱动的权重并应用于损失函数之中。
2023-12-26 16:43:02
4472
9
原创 图像融合论文阅读：LRRNet: A Novel Representation Learning Guided Fusion Network for Infrared and Visible Imag
作者构建了一种【端到端】的【轻量级】融合网络，该模型使用训练测试策略避免了网络设计步骤。具体来说，对融合任务使用了【可学习的表达方法】，其网络模型构建是由生成可学习模型的优化算法指导的。【低秩表达】（low-rank representation ，【LRR】）是算法核心基础。并提出了一种新的细节语义信息损失函数
2023-12-26 11:41:30
3118
6
原创 图像融合论文阅读：(DeFusion)Fusion from decomposition: A self-supervised decomposition approach for image fus
作者提出了一个图像分解模型（DeFusion），通过【自监督】实现图像融合。在没有配对数据的情况下，该模型可以将源图像【分解到特征嵌入空间】（在该空间中可以分离共有特征和独有特征），在分解阶段通过联合训练的重构头在嵌入空间内实现图像融合。该模型是一个图像融合的【通用模型】
2023-12-26 10:20:16
2619
1
原创 图像融合论文阅读：ReCoNet: Recurrent Correction Network for Fast and Efficient Multi-modality Image Fusion
大多数现有方法无法处理轻微【错位】图像（即未对齐、配准）且【计算消耗较高】，为了解决这两个问题，作者提出了ReCoNet，该模型分别使用【变形模块】来补偿未配准问题，使用【注意力机制】减轻重影伪影问题。同时，该网络包含了一个【循环运行的并行膨胀卷积层】，显著降低空间和计算复杂度。
2023-12-25 19:05:15
1665
1
原创 图像融合论文阅读：RFN-Nest: An end-to-end resid- ual fusion network for infrared and visible images
作者提出了一种【基于残差结构】的残差融合网络RFN-Nest，提出了一种【细节保留损失】函数和【特征增强损失】函数来训练网络，训练过程为【两阶段】，第一阶段训练基于【嵌套连接nest connection (Nest) 】的【自编码器】，第二阶段使用所提出的损失函数训练神经网络。
2023-12-25 15:19:17
1761
1
原创 图像融合论文阅读:SwinFuse: A Residual Swin Transformer Fusion Network for Infrared and Visible Images
卷积运算是图像与卷积核之间内容无关的交互，可能会丢失上下文信息因此作者提出了SwinFuse（Residual Swin Transformer Fusion Network），该模型包括三个部分：全局特征提取，融合层和特征重构。- 使用纯Transformer构建了一个完全注意力编码骨干网络来建模远程依赖- 设计了基于序列矩阵L1范数的特征融合策略
2023-12-25 10:19:32
3121
4
原创 图像融合论文阅读笔记：SwinFusion: Cross-domain Long-range Learning for General Image Fusion via Swin Transforme
作者提出了一种基于【跨域远程学习】和【Swin Transformer】的【通用】图像融合框架SwinFusion。- 注意力引导的跨域模块，用来实现互补信息和全局信息的充分整合 - 基于自注意力机制的域内融合单元，用来提取特有特征 - 基于跨域注意力机制的域间融合单元，用来提取互补特征 - 引入了移位窗口机制用来使输入图像尺寸任意- 提出了一个多场景图像融合问题的统一框架- 设计了由SSIM、纹理、强度损失构成的损失函数
2023-12-22 17:51:13
2840
2
原创 图像融合论文阅读：(MFEIF)学习深度多尺度特征集成和边缘注意引导的图像融合
【一句话总结】：AE+GAN编码器使用不同的空洞卷积提取特征后相加，乘上从源图像中通过注意力机制得到的权重，在通过加入跳跃连接的解码器进行重建。1、设计了一个密集语义扩大模块来增加感受野从而提取深层特征。（使用不同的扩张因子的空洞卷积提取特征然后聚合）- 通过多尺度上下文聚合结构，将三种不同感受野的卷积路径聚合- 在每个卷积路径上加入了密集连接2、设计了一个边缘引导的注意融合规则，以保持图像结构并抑制伪影。
2023-12-22 11:17:23
2521
原创 图像融合论文阅读：DenseFuse: A fusion approach to infrared and visible images
使用AE+密集块实现VIF.融合策略：L1范式+softmax
2023-12-20 20:02:25
1739
原创 图像融合论文阅读：DeepFuse: A Deep Unsupervised Approach for Exposure Fusion with Extreme Exposure Image Pair
分别将RGB源图像转换为YCbCr，然后分别对每个通道（Y,Cb,Cr）提取特征（增加通道数但是不下采样），通过特征融合（相加），通过特征重构层生成该通道的融合图像，最后将融合后的Y,Cb,Cr转换到RGB生成最终融合图像。
2023-12-20 19:07:24
1419
原创 图像融合论文阅读：GANMcC: A Generative Adversarial Network With Multiclassification Constraints for IVIF
作者提出了多分类约束GAN（GANMcC）用于图像融合，将【图像融合】问题转换为了【多分布同时估计】问题。使用多分类GAN同时估计可见光和红外域分布，可以优化融合结果。具体来说就是，使用多分类器作为判别器判断输入图像为可见光/红外图像的概率。将主辅思想运用于梯度和强度信息来构造损失函数。即红外图像中的纹理信息可以作为强度信息的补充，同理可见光图像的强度信息作为纹理信息的补充。
2023-12-20 17:21:45
1845
2
原创 图像融合论文阅读：DIDFuse: Deep Image Decomposition for Infrared and Visible Image Fusion
大尺度像素强度变换=背景图像=低频信息小尺度像素强度变换=细节图像=高频信息（“=”不是等于，而是方便大家理解，可以理解为“挂钩”）使用编码器将图像分别分解为背景特征图（低频信息）和细节特征图（高频信息），解码器用来回复原始图像。损失函数用来使源图像的背景/细节特征图相似/不相似。在测试阶段，背景和细节特征图融合在一起，然后由解码器恢复出原始图像。
2023-12-20 15:30:54
2272
原创 图像融合论文阅读：IFCNN: A general image fusion framework based on convolutional neural network
IFCNN是一个【全卷积】的【端到端】【通用】图像融合模型，模型包括：特征提取、特征融合、特征重构三部分。- 输入（【多组】【3通道】图像） - RGB->YCbCr，叠加Y通道3次作为输入 - 单通道图像，直接叠加3次变成3通道 - 特征提取使用在ImageNet上预训练的ResNet101的第一个卷积层作为特征提取的第一个卷积层，但是因为该卷积层是用于分类任务的，因此添加了第二个卷积层以适应图像融合任务。- 特征融合并没有采用concat后再卷积融合的操作，而是使用元素融合规则
2023-12-20 11:07:25
3288
3
原创 图像融合论文阅读：(PMGI)一种基于梯度与强度比例保持的快速统一图像融合网络
（和SDNet思想非常非常相似，毕竟两篇论文是前世今生）作者提出了一种基于【梯度和强度的比例维持】（proportional maintenance of gradient and intensity，PMGI）的【端到端】的【多任务图像融合】网络。图像融合问题可以统一视为源图像【梯度】【强度】的比例维护问题。网络分为两条路：梯度路径负责提取高频纹理信息，强度路径负责源图像像素强度信息的提取。加入了特征重用（即DenseNet的密集连接）和信息交换操作。损失函数由梯度损失项和强度损失项构成。
2023-12-19 20:23:59
2292
原创 图像融合论文阅读：SDNet: A Versatile Squeeze-and-Decomposition Network for Real-Time Image Fusion
- 图像融合任务可以认为是梯度和强度的提取和重建- 损失函数= 梯度项（加入了自适应决策块）+强度项（权重设置策略）- 将压缩分解思想引入图像融合，即通过分解过程来优化压缩过程 - 源图像->融合图像（压缩过程） - 融合图像->源图像（分解过程）- SDNet与自编码器网络结构很相似
2023-12-19 16:25:37
2775
原创 图像融合论文阅读：DDcGAN: 一种用于多分辨率图像融合的双鉴别器条件生成对抗网络
作者提出了双判别器条件生成对抗网络（dual-discriminator conditional generative adversarial network (DDcGAN)）。该网络是一个端到端的模型，也可以融合不同分辨率的源图像。该模型使用了【一个生成器和两个判别器】- 生成器用于生成融合图像- 两个判别器分别用于区分融合图像和两个源图像的结构差异和内容损失在融合不同分辨率图像的方面，作者并没有对低分辨率图像上采样，而是使用【反卷积层】学习低分辨率到高分辨率的映射关系。
2023-12-18 20:07:32
1779
原创 什么是图像融合？（一看就通，通俗易懂）
所谓图像融合，可以简单的理解为【把不同传感器采集到的多张图像，融合成为一张图像】的过程。为什么要这么做呢？举几个经典的例子大家就明白了。
2023-12-17 20:50:01
4759
原创 论文阅读：FusionGAN: A generative adversarial network for infrared and visible image fusion
图像融合论文阅读：FusionGAN: A generative adversarial network for infrared and visible image fusion
2023-12-17 20:31:46
2379
原创 图像融合论文阅读：U2Fusion: A Unified Unsupervised Image Fusion Network
①提出了一种新颖的【统一】【无监督】【端到端】图像融合网络U2Fusion，可以解决多模态、多曝光、多聚焦等不同的融合问题。②通过【特征提取】和【信息度量】，U2Fusion可以【自动估计】对应源图像的【重要程度】，并给出【自适应信息保持度】。基于自适应度，训练好的网络可以保留融合图像和源图像的自适应相似性。因此解决了基于DL的图像融合中需要【ground truth】和【特定的设计规则】的问题。③通过避免顺序地训练不同任务单模型时损失之前的融合能力，不同的融合任务可以在统一的网络框架下完成。
2023-12-17 18:02:14
4331
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人