RealSR算法汇总

RealSR

• NTIRE2020真实超分双赛道冠军；
• 两阶段：1）自监督数据生成；2）监督SR超分；
• 作者提出一种新的数据制作方案：统计模糊核与真实噪声分布并用于制作训练数据对；可以使得LR与真实世界图像处于同域，进而将提升图像超分的性能；
• 作者提出一种真实世界超分模型以获得更好的感知效果
• 真实世界超分的关键问题在于如何引入精确的降质模型以确保生成的LR图像与原始图像具有同域属性(比如噪声分布、模糊等)
• 在实际场景，HR图像、模糊核和噪声均未知的。为更精确的估计降质模型，我们需要从图像中估计模糊核与噪声。一旦得到这些模糊核与噪声，我们就可以利用其构建一个降质池用于对清晰HR图像降质生成LR图像。
• Clean-UP：为得到更多的HR图像，首先从源域生成无噪图像，作者采用双三次下采样方式对源域真实图像进行处理，它可以移除噪声同时确保图像的锐利度。
• Degradation: 作者将经双三次插值得到的图像视作HR，然后从前述构建的降质池中随机选择模糊核。
• 噪声注入：为使最终得到的LR图像与源域中的图像具有相似的噪声分布，作者提出直接从源域 数据中收集噪声。作者指定了这样一个规则：如果某个块的方差小于设定的阈值，则将其纳入到降质池中
• 该方案只需真实图像，将真实图像clean-up生成HR图像，加模糊核和噪声生成对应的LR图像，再基于成对的LR-HR图像进行超分训练；
  
  补充kernelGAN:
  
• 问题：理论上生成的LR图像是clean-up的HR图像通过真实的模糊核和噪声进行降质的，生成器学习的为其逆过程，但收集的模糊核和噪声也许并不全，此外clean-up的HR图像高频信息也是缺失的，生成器对高频信息的学习是不足的，realSR生成的HR图像中含有伪影、人脸马赛克。

DSGAN

• AIM2019真实超分赛道冠军；
• 两阶段：1）非监督数据生成；2）监督SR超分；
• 非成对LR-HR图像（模拟降质过程生成LR图像，在实验时，当z为HR域图像时，模拟生成HR图像，当z为LR域图像时，生成为LR图像，然后利用生成的LR-HR图像对进行超分训练）；
• 采用双三次下采样生成LR图像问题：上三次下采样生成的LR图像与原始HR图像不同源；
• 提出一种生成同源LR图像的方法，并用于训练超分模型；
• 采用双三次下采样由HR(y)制作LR；
• 我们在LR图像进行处理。双三次下采样保留了图像低频信息，移除了高频信息。这就导致了低频信息(颜色、内容)得以保留，而高频信息被丢失
• 通过GAN(颜色+内容+对抗损失)改变上述制作的LR图像特性以使其匹配HR图像特性；
  作者提出仅对高频成分进行判别，而保持低频与原始LR相同。这极大的降低了所提问题的难度，同时使得判别器更多聚焦于相对图像特征。
• 采用所得同源LR-HR方法训练超分模型，此时采用高低频分离方式，低频采用L1损失，高频采用对抗损失。
• z为源域图像，即想要得到的源图像；
  
• 损失函数：
  颜色损失（低频）：​
  $$L_{col,d}=\frac{1}{m}\sum _{i=1}^m|w_{L,d}\ast G_d(x_B^i)-w_{L,d}\ast x_b^i{|}_1$$
  GAN loss只用于高频信息：
  $$L_{tex,d}$$