论文阅读——CTSDG:Image Inpainting via Conditional Texture and Structure Dual Generation

• 原文链接：Image Inpainting via Conditional Texture and Structure Dual Generation (ICCV 2021). Xiefan Guo, Hongyu Yang, Di Huang [Paper] [Code]

本文创新点：

1. 将图像修复任务分成两个子任务，一是用结构约束纹理特征生成，二是用纹理特征引导结构的重建；
2. 设计了一种新颖的双向门控特征融合（Bi-GFF）模块来集成重建的结构和纹理特征图以增强它们的一致性；
3. 设计了上下文特征聚合（CFA）模块生成细节特征。

网络结构

 网络主体由两个自编码器网络组成，并用跳跃连接将两部分连接起来。

Bi-directional Gated Feature Fusion (Bi-GFF，双向门控特征融合)

解码器输出的纹理特征图记为，结构特征图记为，则控制纹理信息集成程度的软门控可以用下式表示：

其中，为按通道拼接，为卷积核为3的卷积层，为Sigmoid激活函数。

则融合后的结构特征为

其中，为零初始化训练参数。

同理，则融合后的纹理特征为

最后，将融合后的特征按通道拼接，

Contextual Feature Aggregation (CFA，上下文特征聚合)

首先，计算特征图中patch之间的相似度，

然后通过softmax得到注意力分数，

然后，进行特征替换

重构特征图时，使用四组不同扩张率的扩张卷积层来捕捉多尺度语义特征：

其中，为扩张率为k的扩张卷积，其中k∈{1,2,4,8}。

像素级权重图生成器 Gw，主要作用是预测像素的权重，

最后，聚合多尺度语义特征以通过逐元素加权和生成细化的特征图 Fc：