Image Fine-grained Inpainting

最新推荐文章于 2024-05-27 09:36:29 发布

想要成为学霸的渣渣

最新推荐文章于 2024-05-27 09:36:29 发布

阅读量1k

点赞数 1

CC 4.0 BY-SA版权

文章标签：计算机视觉深度学习

本文链接：https://blog.youkuaiyun.com/qq_40700490/article/details/107934834

本文探讨了一种基于深度学习的图像修复方法，通过Dense Multi-Scale Fusion Block（DMFB）增强特征提取，Self-Guided Regression Loss提高缺失区域重建质量，Geometrical Alignment Constraint确保特征图对齐，实现更精细的图像修复效果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. Motivation

传统方法不能生成新的内容；
现有的基于深度学习的方法会产生不合理的结构和模糊。

2. Approach

2.1 Network Architecture

生成器：每个“convolution + norm”都有一个激活函数，最后一层的激活函数是Tanh，其他层的函数都是ReLU。生成器的中间部分包含DMFB(dense multi-scale fusion block)，结构如上图所示。

判别器：两个branch，一个负责全局特征，一个负责局部特征，之后将feature concat，整体判别真假。

2.2 Loss function

Self-guided regression loss：

mask让缺失区域的值为1， $M_{error}$ 会将缺失区域或包含缺失区域的像素或特征mask的值变大，而未缺失区域的mask值较小，对缺失区域的惩罚力度更大，这一点也很好理解，模型只需要填充缺失区域，已知区域可以复制，所以我们希望对缺失区域要求更高，而一直区域要求较低，这边只使用了前两层的feature，对应的是底层的特征。

Geometrical alignment constraint：

几何对齐损失，对于feature maps，他有多个通道，这篇文章设想每个通道有一个中心，对于生成的图像和真实图像而言，这个几何中心要尽可能的接近。

Adversarial loss：

ESRGAN【1】的相对平均判别器，C这个函数表示最后一层，激活函数sigmod前的网络。

Final objective：

3. Discussion

我认为这篇文章创新点有以下几个：

Dense multi-scale fusion block的设计，更好的提取特征；
Self-guided regression loss的设计，加大了对缺失区域的惩罚力度；
Geometrical alignment constraint，要求feature maps的中心对齐。

这篇文章并不是像partial convolution那样一个很强的创新点，而是多个小的创新点组合。从作者给出的结果，这些小的创新点对模型的精度都有贡献。

源代码作者现在还没放出来，不过作者说之后会放出来：https://github.com/Zheng222/DMFN

4. References

【1】Wang, Xintao, et al. "Esrgan: Enhanced super-resolution generative adversarial networks." Proceedings of the European Conference on Computer Vision (ECCV). 2018.

【2】Hui, Zheng, et al. "Image fine-grained inpainting." arXiv preprint arXiv:2002.02609 (2020).