【CVPR-2023】DR2：解决盲人脸复原无法覆盖真实世界所有退化的问题

写在前面：本博客仅作记录学习之用，部分图片来自网络，如需引用请注明出处，同时如有侵犯您的权益，请联系删除！

---

---

前言

盲人脸复原通常将退化的低质量数据与预定义的退化模型进行训练，不足以囊括真实世界中的更复杂的退化场景；因此在复原真实退化时候经常观察到伪影。同时，构建训练集以覆盖真实世界的各种退化是不可能的。

本文为了解决这个问题，提出了一种两阶段的复原方法即基于扩散的鲁棒退化去除器（DR2），先将退化图像转换为粗糙但退化不变的预测，然后使用增强模块将粗糙预测恢复为高质量图像，使得DR2对常见的退化具有鲁棒性（例如模糊，调整大小，噪音和压缩）和兼容不同的设计增强模块。

---

论文

论文名： DR2：Diffusion-based Robust Degradation Remover for Blind Face Restoration

论文速递： 点我转跳哦

代码通道： Gitee

论文内容

不同退化的可分离性

• 左侧：不同的退化类型与原始分布是具有明显区分度。
• 右侧：添加高斯噪声或者说在进行若干次扩散后，不同的退化类型的数据分布变得难以区分。

• 所以：不管是什么退化类型，选择一个能从噪声图像中恢复出原始干净的人脸图像的模型，作为退化移除模块是可行。

DR2包含退化消除模块的和增强模块，在推理中，通过扩散过程对 $y_{\tau }，y_{\tau +1},....，y_w$ 进行采样，并将其作为指导。同时使用 $y_w$ 作为 $x_w$，并从步骤 $w$ 到 $\tau$ 开始去噪过程。在每次从 $x_{\tau }$ 到 $x_{\tau -1}$ 的转换之后，将 $y_{t-1}$ 的低频和 $x_{t-1}$ 的高频结合起来。

假设：

• (1) 存在一个中间时间步长 $\tau$，使得对于$t>\tau$，$q(x_t|x)$ 和 $q(y_t|y)$之间的距离接近，特别是在低频部分;
• (2）存在$w>\tau$, 使得$q(x_w|x)$ 和 $q(y_w|y)$之间的距离最终足够小，满足$q(x_w|x)\approx q(y_w|y)$

创新：

• 迭代优化: 其中 $\Phi N(\cdot )$ 表示低通滤波器 (退化图像中有效的高频部分很少)，确保语义一致。
• 进一步提升得到的图像质量，引入增强模块，如SPARNetHD和VQFR等都可以。

实验

在合成数据集和真实数据集上都展现了DR2的优异性能，超过一众SOTA方法。

总结

总结： DR2是一个两阶段的盲人脸恢复框架，利用预训练的DDPM从输入中去除退化，以及用于细节恢复的增强模块。在第一阶段，DR 2通过使用扩散的低-质量信息作为条件来指导生成过程。大量的比较表明，该转换具有很强的鲁棒性和DR2 框架的恢复质量很好。

---

互动

• 该文章对你有启发吗？

欢迎在评论区解答上述问题，分享你的经验和疑问！

当然，也欢迎一键三连给我鼓励和支持：👍点赞 📁 关注 💬评论。

---

致谢

欲尽善本文，因所视短浅，怎奈所书皆是瞽言蒭议。行文至此，诚向予助与余者致以谢意。

---

参考

[1] DR2_Drgradation_Remover
[2] DR2：Diffusion-based Robust Degradation Remover for Blind Face Restoration

---

往期回顾

👆 DeepSeek本地化部署保姆级教程👆

👆 EfficientTrain++帮你降低网络训练的成本👆

👆 PyCharm环境下Git与Gitee联动👆

👆 Ping通但SSH连接失败的解决办法👆

👆 轻量化设计如何提高模型的推理速度👆

👆 正则化与正则剪枝👆