[论文笔记] PEPSI Fast Image Inpainting with Parallel Decoding Network

[论文笔记] PEPSI : Fast Image Inpainting with Parallel Decoding Network

一，摘要

​ 近年来，一种基于生成对抗网络(GAN)的方法在图像绘制中取得了显著的效果。然而，由于该方法的特征编码分为两阶段(coarse-fine)，需要大量的计算资源。

​ 为了降低coarse-fine框架的计算资源，作者提出了一个新的网络结构-PEPSI。该网络由一个共享的编码网络和一个具有粗路径和细化路径的并行解码网络组成。粗路径产生一个初步的绘制结果，利用该结果训练编码网络来预测用于CAM(the contextual attention module)的特征。同时，inpainting path利用CAM重建的精细特征，创造了更高质量的修复图片。

二，网络框架

共享编码网络架构

作用：从有hole regions区域的输入图像中提取特征，并在不产生粗结果的情况下完成缺失特征的补全。

网络构造：在这个网络中，作者在第一个卷积层中使用一个5×5的核来充分利用输入图像中的潜在信息。此外，我们在最后四个卷积层中使用不同膨胀率的膨胀卷积层来提取接收域较大的特征。

解码网络架构

俩条路径的解码参数共享