DRCT：拯救图像超分辨率，远离信息瓶颈

DRCT：拯救图像超分辨率，远离信息瓶颈

DRCT Accepted by New Trends in Image Restoration and Enhancement workshop (NTIRE), in conjunction with CVPR 2024. 项目地址: https://gitcode.com/gh_mirrors/dr/DRCT

项目介绍

DRCT（Saving Image Super-resolution away from Information Bottleneck）是一个创新的图像超分辨率项目，旨在通过改进SwinIR架构，解决传统方法中信息流在深层网络中丢失的问题。该项目由国立成功大学先进计算机视觉实验室的Chih-Chung Hsu、Chia-Ming Lee和Yi-Shiuan Chou共同开发，并在CVPR NTIRE 2024会议上进行了口头报告。

DRCT通过在SwinIR架构中引入密集连接，有效地稳定了信息流，从而提升了超分辨率性能，同时保持了轻量级设计。该项目在多个数据集上取得了优异的成果，显著超越了现有的SOTA方法。

项目技术分析

核心技术

1. 密集连接：DRCT在SwinIR的基础上增加了密集连接，确保信息在深层特征提取过程中不会丢失，从而提升模型性能。
2. SwinIR架构：利用SwinIR的Shift-Window Attention Mechanism，结合密集连接，进一步优化信息流动。
3. 轻量级设计：相比其他SOTA方法，DRCT在保持高性能的同时，显著减少了参数量和计算复杂度。

技术亮点

• 信息流稳定性：通过密集连接，DRCT有效避免了信息瓶颈问题，确保了信息在深层网络中的稳定流动。
• 高性能与轻量化的平衡：在多个基准测试中，DRCT在参数量和计算量上均优于同类方法，实现了性能与轻量化的完美平衡。

项目及技术应用场景

应用领域

1. 图像处理：用于提升低分辨率图像的质量，广泛应用于摄影、视频处理等领域。
2. 医疗影像：帮助提高医学图像的分辨率，辅助医生进行更精准的诊断。
3. 卫星遥感：提升卫星图像的清晰度，助力地理信息和环境监测。
4. 安防监控：提高监控视频的分辨率，提升安防系统的监控效果。

典型案例

• 摄影后期处理：摄影师可以利用DRCT技术，将拍摄的低分辨率照片转换为高分辨率图像，提升作品质量。
• 医学影像分析：医生可以利用DRCT技术，将模糊的医学影像转换为清晰图像，辅助诊断。

项目特点

1. 高效性能：在多个数据集（如Set5、Set14、Urban100、Manga109）上，DRCT均取得了优异的超分辨率效果。
2. 轻量级设计：相比其他SOTA方法，DRCT在参数量和计算量上均有显著优势，便于部署和应用。
3. 易于使用：项目提供了详细的安装指南和使用说明，用户可以轻松地在自己的数据集上进行推理和测试。
4. 开源友好：项目代码开源，欢迎开发者贡献和改进，促进了技术的进一步发展。

Benchmark结果

| Model | Params | Multi-Adds | Forward | FLOPs | Set5 | Set14 | BSD100 | Urban100 | Manga109 | |-------------|--------|------------|---------|-------|------|-------|--------|----------|----------| | HAT | 20.77M | 11.22G | 2053M | 42.18G| 33.04| 29.23 | 28.00 | 27.97 | 32.48 | | DRCT | 14.13M | 5.92G | 1857M | 7.92G | 33.11| 29.35 | 28.18 | 28.06 | 32.59 | | HAT-L | 40.84M | 76.69G | 5165M | 79.60G| 33.30| 29.47 | 28.09 | 28.60 | 33.09 | | DRCT-L | 27.58M | 9.20G | 4278M | 11.07G| 33.37| 29.54 | 28.16 | 28.70 | 33.14 |

项目资源

• 论文链接
• 项目主页
• 模型库
• 可视化结果

安装与使用

git clone https://github.com/ming053l/DRCT.git
conda create --name drct python=3.8 -y
conda activate drct
# CUDA 11.6
conda install pytorch==1.12.1 torchvision==0.13.1 torchaudio==0.12.1 cudatoolkit=11.6 -c pytorch -c conda-forge
cd DRCT
pip install -r requirements.txt
python setup.py develop

推理示例

python inference.py --input_dir [input_dir ] --output_dir [input_dir ]  --model_path[model_path]

测试示例

python drct/test.py -opt options/test/DRCT_SRx4_ImageNet-pretrain.yml

训练示例

CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 python -m torch.distributed.launch --nproc_per_node=8 --master_port=4321 drct/train.py -opt options/train/train_DRCT_SRx2_from_scratch.yml --launcher pytorch

结语

DRCT项目通过创新的架构设计和高效的实现，为图像超分辨率领域带来了新的突破。无论你是研究人员、开发者还是普通用户，DRCT都能为你提供强大的图像超分辨率解决方案。立即尝试DRCT，体验前所未有的图像清晰度提升！

DRCT Accepted by New Trends in Image Restoration and Enhancement workshop (NTIRE), in conjunction with CVPR 2024. 项目地址: https://gitcode.com/gh_mirrors/dr/DRCT