CycleISP 项目使用教程

CycleISP 项目使用教程

CycleISP [CVPR 2020--Oral] CycleISP: Real Image Restoration via Improved Data Synthesis 项目地址: https://gitcode.com/gh_mirrors/cy/CycleISP

1. 项目介绍

CycleISP 是一个用于真实图像恢复的框架，由 Syed Waqas Zamir 等人开发，并在 CVPR 2020 上作为 Oral 论文发表。该项目通过改进数据合成技术，实现了在 RAW 和 sRGB 空间中的图像去噪。CycleISP 框架包括两个主要网络分支：RGB2RAW 和 RAW2RGB，能够将 sRGB 图像转换为 RAW 数据，然后再转换回 sRGB 图像。

CycleISP 的主要特点包括：

• 数据合成：能够生成大量真实的图像对，用于训练去噪网络。
• 高效模型：相比之前的最佳方法，CycleISP 的模型参数减少了约 5 倍。
• 广泛应用：不仅限于图像去噪，还可以应用于其他图像处理任务，如立体电影中的色彩匹配。

2. 项目快速启动

2.1 环境准备

首先，确保你的环境满足以下要求：

• Python 3.7
• PyTorch 1.1.0
• CUDA 9.0
• cuDNN 7.5

安装必要的依赖：

sudo apt-get install cmake build-essential libjpeg-dev libpng-dev
conda create -n pytorch1 python=3.7
conda activate pytorch1
conda install pytorch=1.1 torchvision=0.3 cudatoolkit=9.0 -c pytorch
pip install matplotlib scikit-image yacs lycon natsort h5py tqdm

2.2 下载预训练模型和数据

下载所有模型并放置在 /pretrained_models/isp/ 目录下。下载一些示例图像（如 MIR-Flickr 数据集）并放置在 /datasets/some_sample_images/ 目录下。

2.3 生成数据

2.3.1 生成 RAW 去噪数据

使用 RGB2RAW 网络分支将干净的 sRGB 图像转换为干净的 RAW 图像，并添加不同级别的噪声以生成干净的和对应的噪声图像对。

python generate_raw_data.py

2.3.2 生成 sRGB 去噪数据

使用 RAW2RGB 网络分支将合成的 RAW 噪声图像映射到噪声 sRGB 图像，从而生成 sRGB 去噪问题的图像对。

python generate_rgb_data.py

3. 应用案例和最佳实践

3.1 图像去噪

CycleISP 在多个真实图像数据集上展示了其去噪能力，包括 DND 和 SIDD 数据集。以下是一些典型应用案例：

• DND 数据集去噪：

python test_dnd_raw.py --save_images

• SIDD 数据集去噪：

python test_sidd_raw.py --save_images

3.2 色彩匹配

CycleISP 还可以用于立体电影中的色彩匹配，通过其强大的图像转换能力，确保不同视角的图像色彩一致。

4. 典型生态项目

CycleISP 作为一个先进的图像处理框架，可以与其他图像处理项目结合使用，例如：

• Restormer：一个高效的 Transformer 模型，用于高分辨率图像恢复。
• Multi-Stage Progressive Image Restoration：一个多阶段渐进式图像恢复框架，适用于复杂图像处理任务。

通过结合这些项目，可以进一步提升图像处理的效果和效率。

---

通过以上步骤，你可以快速上手 CycleISP 项目，并将其应用于各种图像处理任务中。

CycleISP [CVPR 2020--Oral] CycleISP: Real Image Restoration via Improved Data Synthesis 项目地址: https://gitcode.com/gh_mirrors/cy/CycleISP