番茄炒蛋三分糖

目前图像修复任务中最长用的数据集是来自于 Liu 等人2018年发布的论文， 该论文中提出用部分卷积解决inpainting的任务的同时，也公布了一个大型的mask数据集，该数据集在之后的 Inpainting 任务中被大量使用。作者对mask的孔洞大小进行了分类。每个种类有孔洞靠近边界的mask和孔洞不靠近边界的mask各1000张。所以，一共有6 ∗ 2 ∗ 1000 = 12000 个mask。

1. 提出用于高分辨率图像修复的aggregated contextual transformations(AOT)，它允许捕获信息丰富的远程上下文和丰富的感兴趣模式，以进行上下文推理。2. 设计了一个新的掩模预测任务来训练用于图像修复的判别器，使判别器可以区分真实patch和合成patch，从而有助于生成器合成细粒度纹理。 。

文章提出了一种两阶段对抗性模型EdgeConnect，包括边缘生成器和图像完成网络。边缘生成器使图像的缺失区域（规则和不规则）的边缘产生幻觉，并且图像补全网络使用幻觉边缘作为先验填充缺失区域。并在公共可用的数据集CelebA、Places2和巴黎街景上对模型进行了端到端的评估。端到端：端到端指的是输入是原始数据，输出是最后的结果。以前输入端不是直接的原始数据，而是在原始数据中提取的特征。将图像修复分为两个阶段：边缘生成和图像完成。边缘生成仅关注缺失区域中的假想边缘。

本篇论文综述发表于2021年。文章总结了基于深度学习的不同类型神经网络结构的修复方法，然后分析和研究了重要的技术改进机制；从模型网络结构和恢复方法等方面对各种算法进行了综合评述。并选择了一些有代表性的图像修复方法进行比较和分析。最后，总结了当前图像修复存在的问题，并展望了未来的发展趋势和研究方向。当前的图像修复研究主要包括修复矩形块掩模、不规则掩模、目标移除、去噪、移除水印、移除文本、移除划痕和旧照片着色等任务。传统的图像修复方法基于补丁和基于扩散的方法，在2014年之前发展。

最后一个部分卷积层的输入将包含带孔的原始输入图像和原始掩模的拼接，使得模型可以复制非孔像素。X是当前卷积（滑动）窗口的特征值（像素值），M是对应的二进制掩码，⊙ 表示逐元素乘法。在每次部分卷积操作之后，将进行更新掩码：如果卷积能够根据至少一个有效的输入值调节其输出，则将该位置标记为有效。在图像边界处使用具有适当掩蔽的部分卷积来代替典型的填充，这确保图像边界处的修复内容不会受到图像外部无效值的影响。为了正确处理不规则掩码，提出使用部分卷积层，包括掩码和重新归一化卷积操作，然后是掩码更新步骤。...

此篇论文的工作是基于前一年提出的上下文编码器（Pathak 等。- 2016 - Context Encoders Feature Learning by Inpainting），即全局鉴别器查看整个图像以评估其整体是否一致，而局部鉴别器仅查看以完成区域为中心的小区域以确保生成的面片的局部一致性，然后训练图像完成网络以欺骗两个上下文鉴别器网络。...