图像复原论文解读：Image Restoration with Mean-Reverting Stochastic Differential Equations, ICML 2023

Paper： Image Restoration with Mean-Reverting Stochastic Differential Equations

Code： GitHub - Algolzw/image-restoration-sde: Image Restoration with Mean-Reverting Stochastic Differential Equations, ICML 2023.

Project： Image Restoration with Mean-Reverting Stochastic Differential Equations

Contribution

1. 提出一种新的均值回归随机微分方程用于各种图像复原任务（IR-SDE），在训练中该方程有closed-form解可以算出正确的score function，并可以在测试中使用网络来估计它。

2. 我们提出使用最大似然估计来计算最优的reverse-time路径，并以此作为loss function。与普通的score-matching loss比，新提出的loss训练更加稳定，且生成的图像也更加精确。

3. 该方法不需要知道图像恢复任务的任何先验知识或参数设置，也不局限于线性退化或简单非线性退化，只需改变数据集即可用于任意任务，非常灵活。且该基于diffusion的方法在去雨任务中获得了SOTA效果。

4. 对该方法进行简单扩展后（修改网络结果，调参数等）在NTIRE 2023 Shadow Removal Challenge中获得了第二名的好成绩（LPIPS和MOS获得第一）。

1. 动机：Motivation

随着扩散模型的火热，各种各样的任务都开始引入diffusion的概念，而同作为生成式任务的图像复原也是如此，引入了大量结合diffusion的工作，如DDRM ，DPS ，DDNM 等。然而，目前绝大多数基于diffusion的图像复原工作都需要显式地知道图像降质的具体过程，特别如下形式：

其中 分别代表high-quality(HQ)和low-quality(LQ)图像，而  代码某个(非)线性退化过程以及额外噪声。

这样的好处是可以对退化过程进行显式建模，并对A和n进行分解从而简化过程。但缺点也相当明显：

1）A 必须是已知的退化算子，并且通常需要可(SVD)分解。这些要求对于大多数传统图像复原任务都是不可能知道的，如去雨去雾去阴影去运动模糊等等。

2）每个任务的退化核A可能都不一样，需要针对不同任务设计不同求解方程，导致很难将其快速应用扩展到不同任务中。

3）很难处理非线性或不可分解的退化过程（有部分paper在试图解决这些问题但通常都使问题更复杂了）。

那么能不能设计一种比较直接的diffusion模型，可以像普通卷积网络一样，直接改一下数据集就可处理各种各样简单或复杂的图像复原任务呢？当然可以！如我们今年的ICML论文：Image Restoration with Mean-Rev