论文笔记《Image Inpainting via Generative Multi-column Convolutional Neural Neworks》

文章提出了一种通过生成多列的卷积神经网络用于图像修复问题。

论文来自NIPS2018

 

1 Motivation

 图像修复过程中三大难题：（1）提取图片合适的特征 （2）寻找相似的块 （3）综合辅助信息

本文针对图像修复的三大难题进行改进，在特征提取方面，提出了一种生成多列的CNN结构，因为多列结构可以将图像分解成具有不同感受野和特征分辨率的分量。在寻找相似块方面，提出了一种隐式多样化马尔可夫随机场（ID-MRF）项，但只将其作为正则化项。在综合辅助信息方面，设计了一种新的置信驱动的重建损失，根据空间位置约束生成内容。

2 Method

2.1 Network Structure

网络分为三个子网络:预测结果生成器；对抗训练的全局和局部鉴别器；计算ID-MRF损失的预训练的VGG19网络。

网络的输入是待修复图片矩阵X以及Mask矩阵M（已知像素点为0其他的为1）。

2.2 ID-MRF正则化项

  

与原来相似性度量（余弦相似性），寻找到相似的邻居块之后就会减少结构的变化（图a），因此，我们采取相对距离度量来模拟局部特征和目标特征集合之间的关系（图b）。

我们对其ID-MRF项定义如下：

首先定义两个块之间相似性：