论文笔记(Cycle-CNN)

14.Cycle-CNN

1.创新点：

1. 提出了一种用于遥感图像的非成对训练的SR网络Cycle-CNN。

2. 在网络中设置了两个模块。第一个模块用于将LR图像映射到HR图像，即SR，而第二个模块用于将HR图像映射回LR图像，如下采样。

3. 在UC Merced数据集上的测试表明，与基于学习的SISR方法相比，我们提出的方法可以在超分辨率图像质量和时间成本之间实现更好的平衡。

2.整体网络结构：

1.训练过程中未配对的LR–HR图像之间没有直接关系，LR或HR输入在其自身的周期中进行训练，向前或向后。

2.虽然HR数据用于非配对训练，但这些HR信息可能不像其他有监督的SR方法那样被视为SR的监督信息。

3.同时更新G1和G2的参数。

3.损失函数：

1.总损失。

2.Lcyc：由于我们期望循环网络将生成的图像带回原始图像，所以我们使用了循环一致性损失。一致性损失Lcyc由前向一致性损失lfcyc和后向一致性损失Lbcyc组成。

3.Lidt：Cycle-CNN需要身份损失来确保生成的网络(G1和G2)的输入和输出图像内容一致。此外，身份损失可以使网络更稳定，更容易收敛。使用L2损失作为像素损失，使用预训练的19层VGG网络的ReLU激活层的VGG损失作为内容损失。MSE-G1和MSE-G2的性能明显优于VGG-G1和VGG-G2。说明VGG的身份丢失不适合我们的Cycle-CNN。VGG身份丢失的目的是使两幅图像的细节更接近;然而，SR的目的是恢复LR图像的细节。比较MSE-G1和MSE-G2, MSE-G1在测试数据集中表现出更好的结果。可以看出，MSE-G1的PSNR平均比MSE-G2高0.14 dB, NIQE平均比MSE-G2低0.223 dB。综上所述，我们在方法中选择MSE-G1作为恒等损失。

4.实验对比：

5.学习总结：

1.成对的高分辨率和低分辨率遥感图像对于监督学习SR方法实际上很难获得。为了解决这个问题，本文提出了一种新的循环卷积神经网络（cycle-CNN），该网络由两个分别用于下采样和SR的生成型神经网络组成，可以使用未配对数据进行训练。

2. 该网络实现了最先进的基于CNN的SR结果。此外，对于真实遥感图像的SR，本文的方法优于其他先进的监督方法。并且，对遥感图像中的噪声和模糊具有鲁棒性。

3. 由于真实的LR图像可能无法通过特定的下采样方式从HR生成，因此在重建真实的遥感图像时，训练后的监督网络可能无法很好地工作。因此，创建一个非监督训练的网络对于遥感图像SR是必要的，并且具有实际价值。

4. 该网络适用于成对或非成对训练数据，对双三次下采样图像和真实遥感图像都有较好的重建效果。