UMF-CMGR项目安装与配置指南

UMF-CMGR项目安装与配置指南

UMF-CMGR [IJCAI2022 Oral] Unsupervised Misaligned Infrared and Visible Image Fusion via Cross-Modality Image Generation and Registration 项目地址: https://gitcode.com/gh_mirrors/um/UMF-CMGR

1. 项目基础介绍

UMF-CMGR是一个开源项目，旨在实现未对齐的红外与可见图像的无监督融合，通过跨模态图像生成与注册技术。该项目是IJCAI2022的口头报告项目，由Di Wang, Jinyuan Liu, Xin Fan和Risheng Liu共同完成。项目主要使用Python编程语言。

2. 关键技术和框架

• 编程语言： Python
• 深度学习框架： PyTorch
• 图像处理库： OpenCV、Kornia
• 关键技术：
  • CPSTN（Cycle-Consistent Pseudo-Spectral Transform Network）： 用于生成伪红外图像。
  • MRRN（Modular Registration Network）： 用于图像注册。
  • DIFN（Double Image Fusion Network）： 用于图像融合。

3. 安装和配置准备工作

在开始安装之前，请确保您的系统中已安装以下依赖项：

• Python 3.6或更高版本
• CUDA 10.1
• PyTorch 1.6.0
• Torchvision 0.7.0
• OpenCV 3.4
• Kornia 0.5.11

您还需要准备以下数据集：

• RoadScene
• TNO

安装步骤

1. 克隆项目仓库：

   打开命令行窗口，执行以下命令克隆项目：

   git clone https://github.com/wdhudiekou/UMF-CMGR.git
   cd UMF-CMGR
   

2. 安装Python依赖：

   在项目根目录下，运行以下命令安装所需的Python包：

   pip install -r requirements.txt
   

3. 下载预训练模型：

   根据项目说明，下载相应的预训练模型并放置到对应目录下。

4. 准备数据集：

   下载所需的数据集并放置到项目中的相应位置。

5. 运行示例代码：

   根据项目要求，运行示例代码进行训练或测试。

   训练注册过程：

   cd Trainer
   python train_reg.py
   

   测试注册过程：

   cd Test
   python test_reg.py
   

   根据具体需求，可以选择单独训练注册和融合过程，或联合训练。

以上步骤为项目的简要安装和配置指南，具体操作可能需要根据项目文档进一步调整。

UMF-CMGR [IJCAI2022 Oral] Unsupervised Misaligned Infrared and Visible Image Fusion via Cross-Modality Image Generation and Registration 项目地址: https://gitcode.com/gh_mirrors/um/UMF-CMGR