Generative Image Inpainting with Contextual Attention（CVPR2018）

目录

Abstract（摘要）：

1. Introduction

2、Related Work（相关工作）

2.1. Image Inpainting(图像修复)

2.2. Attention Modeling(注意力模型)

3、Improved Generative Inpainting Network(改进的生成修复网络)

4、Image Inpainting with Contextual Attention

4.1. Contextual Attention(文本注意力)

4.2. Unified Inpainting Network

---

文章中蓝色为我认为比较重要的知识

紫色为我个人的对文章的解读

Abstract（摘要）：

基于深度学习的方法可以生成视觉上看似合理的的图像结构和纹理，但通常会产生与周围区域不一致的扭曲结构或模糊纹理。这主要是由于卷积神经网络在明确借用来自遥远空间位置的信息方面的无效性。另一方面，当需要从周围区域借用纹理时，传统的纹理和块合成方法特别适合。受这些观察的激励，本文提出了一种新的基于深度生成模型的方法，该方法不仅可以合成新的图像结构，而且可以在网络训练期间明确地利用周围的图像特征作为参考，以做出更好的预测。该模型是一个前馈、完全卷积的神经网络，可以在测试时间内处理在任意位置具有多个孔并且具有可变尺寸的图像。

1. Introduction

早期的工作试图使用类似于纹理合成的思想来解决这个问题，即通过从低分辨率到高分辨率或从孔边界传播开始将背景补片匹配和复制到孔中。这些方法特别适用于背景修复任务，并在实际应用中得到广泛应用。然而，由于他们假设可以在背景区域的某个地方找到缺失的补片，因此他们无法针对修复区域涉及复杂的非重复结构(例如，人脸、物体)的挑战性情况。

基于CNN的方法经常产生边界伪影、扭曲的结构和与周围区域不一致的模糊纹理。本文认为这可能是由于卷积神经网络在模拟远距离上下文信息和空洞区域之间的长期相关性方面的无效性。

本文提出了一个统一的前馈生成网络和一个新颖的上下文注意层用于图像修复。本文提出的网络包括两个阶段(译者注：分为粗网络阶段和细网络阶段，且细网络阶段以粗网络阶段的加工内容为基础)。第一阶段(粗网络阶端）是一个简单的扩张卷积网络，用重建损失训练，以粗略估计丢失的内容。第二阶段(细网络阶段)整合语境注意。上下文注意的核心思想是利用已知块的特征作为卷积滤波器来处理生成的块。它被设计和实现为使用卷积将生成的块与已知的上下文块进行匹配，使用通道方式的softmax对相关块进行加权，使用去卷积将生成的块与上下文块进行重构。上下文注意模块还具有空间传播层，以鼓励注意的空间一致性。为了让网络产生新内容，本文有另一条与情境注意力路径平行的回旋路径。两个路径被聚合并被馈送到单个解码器以获得最终输出。用重建损失和两个Wasserstein GAN损失对整个网络进行端到端的训练，其中一个批评家着眼于全局图像，而另一个批评家着眼于缺失区域的局部块。

本文贡献：

（1）本文提出了一种新的上下文注意层，以明确地关注在遥远的空间位置的相关特征块。

（2)本文引入了几种技术，包括修复网络增强、全WGANS以及空间折扣重建损失，以基于当前最先进的生成式图像修复网络[17]来提高训练稳定性和速度。

2、Related Work（相关工作）

2.1. Image Inpainting(图像修复)

现有的图像修复工作主要分为两类。第一类代表具有低级特征的传统的基于扩散或基于补丁的方法。第二类尝试通过基于学习的方法来解决修补问题，例如训练深度卷积神经网络来预测缺失区域的像素。

2.2. Attention Modeling(注意力模型)

3、