本文介绍了基于去噪扩散概率模型的图像修复方法RePaint，该方法适用于极端的mask情况，通过预训练的Unconditional DDPM进行修复。通过反向扩散过程结合Resampling技巧，解决了传统方法中的语义修复问题，提高了图像修复的质量。
Inpainting任务是指在任意一个二进制的掩码指定的图片区域上重新生成新的内容，且新生成的内容需要和周围内容保持协调。当前SOTA模型用单一类型的 mask 训练限制了模型的泛化能力，此外 pixel-wise 和 perceptual loss 会导致生成模型朝着纹理填充而不是语义修复方向更新。
本文提出了基于去噪扩散概率模型的图像修复方法Repaint，该方法甚至对于极端的 mask 情况（如mask 面积很大，几乎遮挡了整幅图像）都适用。本文利用一个预训练的 Unconditional DDPM 作为先验模型。为了调节生成过程，我们使用给定的图像信息仅对未屏蔽区域进行采样来改变反向扩散迭代。由于该技术不修改原始 DDPM 网络本身，因此该模型可以为任何修复形式生成高质量的图像。
1. 预备知识
本章节将介绍几个后面要用到的DDPM的结论，关于这些结论是如何得到的以及DDPM的相关知识可以移步至 通俗理解DDPM到Stable Diffusion原理。
扩散的前向过程：
q ( x t ∣ x t − 1 ) = N ( x t ; 1 − β t x t − 1 , β t I ) (1) q(x_t|x_{t-1})=\mathcal{N}(x_t;\sqrt{1-\beta_t}x_{t-1},\beta_t\text{I})\quad\text{(1)} q(xt∣xt−1)=N(xt;1−βtxt−1,βtI)(1)
进一步可以直接从 x 0 x_0 x0推到出加噪后的 x t x_t xt:
q ( x t ∣ x 0 ) = N ( x t ; α ˉ t x 0 , ( 1 − α ˉ t ) I ) ( 2 ) q(x_t|x_0)=\mathcal{N}(x_t;\sqrt{\bar{\alpha}_t}x_0,(1-\bar{\alpha}_t)\mathbf{I})\quad(2) q(xt∣x0)=
最低0.47元/天 解锁文章
扫一扫
2045
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
