Progressive Reconstruction of Visual Structure for Image Inpainting 论文笔记

会议与时间 IEEE Conference Proceedings international conference on computer vision Jan 2019 CCF-A

主要贡献/创新点

在partial convolution地基础上作改进，通过逐步地交错地生成edge map和inpainting image，共享参数以提升两者地效果。

过去方法存在的问题

1. 利用对抗损失评估生成的结构，将每个结构图视为一个整体，很难恢复到合格的局部结构。
2. 局部卷积等方法缺乏结构性的知识，限制恢复了连续的masked区域。

结构structure就是edge、前景等“中间介质”。

创新点

1. 提出PRVS（Progressive Reconstruction of Visual Structure）网络，逐步重建结构和相关的视觉特征。
2. 设计了一种新的Visual Structure Reconstruction(VSR)层，将重建的视觉结构(visual structure)和视觉特征(visual feature)纠缠在一起，通过共享参数提高彼此的性能。
3. 分析了所提出方法的泛化能力，给出了$O(\frac{1}{\sqrt{N}})$的泛化界。

模型搭建

模型主要结构

也是生成器+判别器结构

1. 生成器由使用了VSR层的P-UNet结构组成。
2. 判别器由预训练的权重固定的VGG-16和由5层卷积层构成的Patch Discriminator组成。

Visual Structure Reconstruction Layer

VSR层由结构生成器（Visual Structure Generator）和特征生成器组成。

1. 先使用结构生成器更新input edge，收缩确实区域的大小。
2. 然后使用更新的edge map引导新feature的生成。

Visual Structure Generator

1. 先使用局部卷积获得更新的feature map$X_{pc1}$和其对应的mask$M_{pc1}$

$$X_{pc1},M_{pc1}=Pconv(<X_{in},E_{in}>,<M_{in}^{Img},M_{in}^{Edge}>)$$
Pconv是局部卷积操作，<>是concatenate，$X_{in}$是image feature，3通道，$E_{in}$
是structure map，单通道，M分别代表它们的mask。
$X_{pc1}$和$M_{pc1}$分别是更新后的feature map和它的mask。

2. $X_{pc1}$输入到bottleneck residual block和一个单通道输出卷积核中产生结构图$E_{conv}$。

3. 新生成的$M_{pc1}$和$M_{in}^{Edge}$做减法，再和$E_{c}onv$做逐元素乘积，获得新生成的Edge map。

4. 原始的 E i n E_in E