论文阅读——Shift-Net: Image Inpainting via Deep Feature Rearrangement

原文链接：Shift-Net: Image Inpainting via Deep Feature Rearrangement (ECCV 2018). Yan, Z., Li, X., Li, M., Zuo, W., & Shan, S. [Paper][Code]

本文的创新点：

1. 引入guidance loss，使解码器的特征更接近于真实图像编码器的特征；
2. 提出了shift-connection层，将已知区域的编码器特征和缺失部分的解码器特征连接起来。

目录

 网络结构

网络整体结构

 移位连接层

损失函数

guidance loss：

L1损失：

对抗损失：

总体损失：

 实验结果

---

网络结构

网络整体结构

整体网络在U-Net的基础上增加一个shift-connection layer。

 移位连接层

移位连接层做的任务就是，通过近邻搜索编码层中的已知区域找到解码层中未知区域的信息。

 其中，为缺失区域，为已知区域，为编码器第层特征，为解码器第层特征。

则偏移向量可以定义为：

移位连接层的特征可用下式表示：

 

 

损失函数

guidance loss：

 

其中，输入图像，是真实图像，为缺失区域，为已知区域，为编码器第层特征，为解码器第层特征。

该损失的作用就是，对于缺失区域，让输入图像解码器的第层的特征更接近真实图像编码器的第层的特征。

L1损失：

其中，为网络的输出，W为模型要学习的参数。 

对抗损失：

 其中，为真实图像的分布，为输入图像的分布。

总体损失：

 实验结果