原理和代码解读：用Diffusion Models高清图像修复(Image Inpainting)

Diffusion Models专栏文章汇总：入门与实战

前言：在最近的Diffusion Models应用中，Image Inpainting+ControlNet/Lora等工作在模特衣服生成、家居场景重建等场景中得到了广泛的应用。这篇博客主要介绍Diffusion Models如何在修复高清图像的。

目录

贡献概述

方法详解

论文和代码链接

个人感悟

---

贡献概述

主要问题：高分辨率下运行的神经网络的修复质量下降的问题，修复模型通常无法以高于其训练集的分辨率生成全局一致的结构。因为感受野保持静止，尽管图像分辨率有所提高。在修复之前缩小图像会产生相干结构，在更高分辨率下会导致缺乏细节。

主要贡献：论文采用了粗到精的迭代细化方法，通过多尺度损失优化特征图。通过使用较低分辨率的预测结果作为引导，细化过程可以产生详细的高分辨率修复结果，同时保持来自低分辨率预测的颜色和结构（图1）。无需对修复网络进行额外的训练，推理过程中只需细化特征图。

方法详解

如下图所示，论文中使用多尺度特征细化遵循从粗到细的方法，迭代地为修复预测添加更多细节。也就是说每一步得到结果会与修复后图像的lower scale做L1 loss，然后更新z。