2024ECCV|DiffBIR: 基于生成扩散先验进行盲图像恢复

明晚十点睡

已于 2025-02-04 19:05:29 修改

阅读量473

点赞数 4

分类专栏：论文阅读文章标签：人工智能深度学习计算机视觉图像处理

于 2024-12-14 12:40:40 首次发布

本文链接：https://blog.youkuaiyun.com/hututufandou/article/details/144469053

版权

论文阅读专栏收录该内容

8 篇文章

订阅专栏

文章标题：《DiffBIR: Towards Blind Image Restoration with Generative Diffusion Prior》
DiffBIR收录于2024ECCV，是中科院深圳先进技术研究院（董超等人）、上海AI Lab和香港中文大学联合发布的一项研究。
原文链接：https://arxiv.org/pdf/2308.15070
代码链接：https://github.com/XPixelGroup/DiffBIR
在这里插入图片描述

1. Abstract

本文提出了一种可以基于统一框架处理不同的盲图像恢复任务的通用恢复管道，即DiffBIR。DiffBIR把盲图像恢复问题解耦成两个过程：1）退化去除：删除与图像无关的内容；2）信息再生成：生成丢失的图像内容。每个阶段都是独立开发的，但它们以一种级联的方式无缝地工作。在第一阶段，本框架使用恢复模块去除退化，获得high-fidelity的恢复结果。在第二阶段，本文提出了IRControlNet，利用潜在扩散模型的生成能力来生成真实的细节。特别地，为了得到稳定的生成性能，本框架采用不含干扰噪声内容的专门制作的条件图像训练IRControlNet。除此以外，本文还设计了一个区域适应性的恢复指导以在推理阶段调整去噪过程，而不需要模型重训练。这为用户调整realness和fidelity之间的平衡提供了抓手。大量的实验证明了，DiffBIR在基于合成及真实数据集的盲图像超分辨率、盲人脸恢复和盲图像去噪任务上的表现均优于最先进的方法。