PSFusion：基于渐进式语义注入和场景保真度的红外可见光图像融合网络

PSFusion：基于渐进式语义注入和场景保真度的红外可见光图像融合网络

【免费下载链接】PSFusion This is official Pytorch implementation of "Rethinking the necessity of image fusion in high-level vision tasks: A practical infrared and visible image fusion network based on progressive semantic injection and scene fidelity" 项目地址: https://gitcode.com/gh_mirrors/ps/PSFusion

PSFusion是一个基于PyTorch的官方实现，专注于重新思考图像融合在高级视觉任务中的必要性。该项目通过渐进式语义注入和场景保真度策略，为红外与可见光图像融合提供了实用的解决方案。

核心架构设计

PSFusion采用双路径融合架构，结合了浅层细节融合模块（SDFM）和深层语义融合模块（PSFM），通过通道空间注意力机制和交叉注意力机制实现高质量图像融合。

该框架包含两个主要模块：

• 浅层细节融合模块（SDFM）：基于通道空间注意力机制，专注于捕捉图像的纹理和细节特征
• 深层语义融合模块（PSFM）：基于交叉注意力机制，负责解析场景的深层语义信息

关键技术组件

细节融合模块

SDFM模块通过局部注意力和全局注意力的结合，实现多模态特征的精准融合。该模块包含RGB对象特征提取和红外对象特征提取两个分支，通过特征重校准和通道聚合实现最优融合效果。

语义融合模块

PSFM模块采用密集连接结构，通过多尺度特征提取和交叉注意力机制，确保语义信息的完整保留。

实验效果展示

定性融合结果

在MSRS数据集上的融合效果对比：

在M3FD数据集上的融合效果对比：

定量分析结果

PSFusion在多个评估指标上均表现出色：

分割任务应用

PSFusion在高级视觉任务中展现出强大潜力，特别是在语义分割领域：

项目结构

核心代码文件包括：

• 主模型定义：PSF.py
• 训练脚本：train.py
• 测试脚本：test.py
• 融合测试：test_Fusion.py
• 损失函数：Fusion_losses.py、losses.py
• 优化器配置：optimizer.py
• 参数配置：options.py

快速开始

环境配置

推荐使用以下环境配置：

• torch 1.10.0
• cudatoolkit 11.3.1
• torchvision 0.11.0
• kornia 0.6.5
• pillow 8.3.2

训练流程

1. 下载预处理好的MSRS数据集并放置在datasets目录下
2. 运行命令：python train.py --dataroot=./datasets/MSRS --name=PSFusion

测试流程

1. 下载预训练模型并放置在results/PSFusion/checkpoints目录下
2. 运行命令：python test_Fusion.py --dataroot=./datasets --dataset_name=MSRS --resume=./results/PSFusion/checkpoints/best_model.pth

应用价值

PSFusion在以下领域具有重要应用价值：

• 安防监控：红外与可见光协同分析，提升目标检测精度
• 自动驾驶：全天候环境感知增强，提高行车安全性
• 医疗影像：多模态医学图像融合，辅助疾病诊断

该项目不仅推动了多模态图像融合技术的发展，更为实际应用场景提供了可靠的技术支撑，助力开发者在复杂视觉任务中取得突破性成果。

【免费下载链接】PSFusion This is official Pytorch implementation of "Rethinking the necessity of image fusion in high-level vision tasks: A practical infrared and visible image fusion network based on progressive semantic injection and scene fidelity" 项目地址: https://gitcode.com/gh_mirrors/ps/PSFusion