Unpaired Screen-Shot Image Demoiring With Cyclic Moir Learning

论文名字：Unpaired Screen-Shot Image Demoiring With Cyclic Moir Learning
论文下载地址：https://ieeexplore-ieee-org-443.webvpn.scut.edu.cn/document/9706222
论文代码地址：https://github.com/Hideinlab/Unpaired_image_demoireing

论文内容：利用GAN从干净图像生成摩尔图像，再训练另一个GAN从摩尔图像生成干净图像

具体内容：总体框架分为两个GAN：moire network & demoire network。前者从干净图像生成受到摩尔纹退化的图像构成一个图像对，后者利用这个图像对训练。两个GAN都属于Cycle GAN，因此一共有四个生成器和四个判别器。基本框架如下图，下面介绍模块的具体实现。

Moire network

生成器

受摩尔纹的退化影响分为两部分：强度退化、摩尔纹图案影响，因此摩尔纹生成网络也氛围两部分，即左边的强度退化和右边的摩尔纹图案生成。而摩尔纹通常在多尺度上呈现出不同的模式，因此总体采用了多尺度结构。

强度退化：

1. 在最下面的分支中提取出强度直方图强度直方图（因为直方图具备尺度不变性），将其输入网络$f$
2. $f$有三层，第1、2层是FC+BN+LRelu，第三层是FC+sigmod，最终得到退化参数$\alpha \in (0,1)$

摩尔纹图案生成：

疑惑：

1. 对于最大尺度（最下面）分支来说，已经经过了两次下采样，再经过类似U-net结构，信息不会太小了吗？
2. 网络有三个输出结果，但是整体框架图中只有一个输出。

判别器

作者认为摩尔图案对应高频分量，因此提取出高频信息会有利于判别器分析

Demoire network

生成器

跟moire network的生成器结构反过来即可，其中的模块也和上述模块结构一致。

判别器

同moire network的判别器结构。

Loss function

Moire network

Demoire network

demoire network前两项和moire network一样，最后加了一个sobel边缘检测loss，因为摩尔纹图像周围有大量噪点，因此moire network就不加这一项损失了。

Experiments

定性定量比较

在三个数据集上测试了结果，注意，LCDMoire数据集中将训练数据集分为两份，一份只取干净图像，一份只取摩尔纹图像，其他数据集的使用方式未说明，可能默认与LCDMoire数据集一致。

消融实验

1. 使用普通的cycle GAN学习从摩尔纹图像到干净图像
   

2. 修改moire network中的循环损失函数
   

3. 修改moire network中强度退化模块，将其删除
   

摩尔纹生成

1. 摩尔纹生成过程。从左到右为：干净图像、退化后图像、摩尔纹模式，生成的摩尔纹图像、摩尔纹GT

2. 多尺度摩尔纹生成结果
   

3. 不同epoch生成的摩尔纹图像