跨传感器：超分

Cross-sensor remote sensing imagery super-resolution via an edge-guided attention-based network

（基于边缘引导注意力网络的跨传感器遥感图像超分辨率）

基于深度学习的超分辨率（SR）方法在重建理想模拟的高质量遥感图像数据集方面取得了显著进展。然而，由于复杂的退化因素引起的图像质量的变化很大，它们的性能显着降低对不同的卫星传感器获取的真实世界的图像。具体来说，我们建立一个退化池—低分辨率（LR）的目标传感器，以模拟从源传感器获得的高分辨率（HR）图像产生一个退化的训练数据集。此外，EGASR网络被嵌入到跨传感器SR框架重建HR结果与相关精致的细节。EGASR网络采用边缘引导的残差注意力块（EGRAB），引入隐式边缘先验，以增强边缘相关的信息。将该方法应用于中国高分（GF）卫星传感器的图像，并与几种有代表性的SR方法进行了比较。一个理想的模拟GF-2 LR/HR图像集，只考虑下采样，首先用来评估所提出的EGASR网络的有效性。此外，GF-2/GF-1和GF-2/GF-6交叉传感器SR数据集的构建通过合成GF-2分别与GF-1和GF-6图像的退化图像对。结果表明：1）EGASR模型在重构纹理细节和边缘特征方面表现出了优越性，在现有的图像重建方法中取得了最好的效果；2)跨传感器SR框架显著地提升了模型对由目标卫星传感器获取的真实世界LR图像进行超分辨率的能力。

Introduction

高分辨率（HR）遥感图像比低分辨率（LR）图像包含更精细的纹理细节。近几十年来，随着遥感成像技术的飞速发展，遥感图像的分辨率不断提高。然而，对精细尺度图像解析应用的广泛需求（例如，变化检测）、细粒度分类和语义分割对图像的空间分辨率仍有很高的要求。而且，遥感图像的空间细节往往会受到多个因素的影响而退化（例如，光学衍射、模糊和噪声）。由于成像设备的成本高和改进的局限性，基于算法的图像超分辨率（SR）技术成为研究热点。
图像超分辨率是一个从一幅或多幅低分辨率图像中恢复高分辨率图像的不适定逆问题，已有近四十年的发展历史。总体而言，SR算法可以大致概括为三个主要类别，即，基于插值，基于重建的和基于学习的方法。在基于学习的SR方法爆炸之前，单图像SR（SISR）方法的有效性在不涉及外部信息的情况下是有限的。近年来，基于深度学习的方法在各种公共基准数据集上取得了显著的性能，并显示出其优于传统SISR方法的优势。随着网络设计的频繁改进，已经获得了最先进的结果，例如剩余学习，递归学习，注意力机制，密集连接，以及最近流行的Transformer模型。与需要连续输入图像的多帧SR方法相比，SISR方法更实用、方便，尤其适用于遥感数据。因此，我们在这项工作中主要参考SISR。
总的来说，深度学习技术的进步已经导致图像SR的显著改进。然而，与自然图像相比，卫星图像具有一些鲜明的特点。
1）星载成像系统获取的图像通常受到复杂的退化因素的污染，例如大气散射和吸收、传感器失真和系统噪声。退化也随不同的卫星传感器以及获取条件而不同。
2）大规模图像场景中地物尺度和纹理细节的多样性给LR图像高频信息的超分辨率提取带来了困难。此外，卫星图像中的模糊和噪声对区分关键特征与异常的模型构成了额外的挑战。
已经提出了各种基于深度学习的方法来解决遥感图像的SISR问题，并且已经取得了一些成功。然而，这些方法很少关注与复杂退化因子相关联的图像质量的变化。例如，大多数方法在由源传感器收集的HR图像和模拟LR图像对组成的数据集上训练SR模型，然后将训练的模型应用于从目标传感器采集的真实的LR图像。然而，训练集中的LR图像通常通过将简单的下采样算子应用于相应的HR图像来生成。在没有充分考虑不同卫星传感器的不同退化条件的情况下，由于泛化能力差，训练模型的有效性在实际应用中可能会降低。近年来，一些研究人员开始探索考虑复杂退化的方法来解决现实世界的遥感图像SR任务。Zhang等人提出了一种基于多重退化的无监督SR框架，可以处理遥感图像中存在的复杂退化方案。然而，无监督框架通常很难训练，并且在某些情况下可能会产生对现实世界应用有害的伪影。Dong等人提出了一种退化模型来模拟遥感图像的模糊和噪声退化，该模型考虑了模拟训练数据与真实世界图像之间的域差距。然而，他们只考虑了简单的高斯噪声和JPEG压缩关于退化假设中的噪声因素，这仍然需要扩展到更全面的现实世界的设置。除了基于退化建模的方法之外，另一个流行的方法是收集同一场景的真实世界LR/HR图像对用于网络训练。例如，为了训练SR模型，Galar等人通过收集Sentinel-2图像和在相同位置具有相似光谱特征的参考行星图像来构建数据集。最近，Wang等人引入了一个由Landsat 8 Operational Land Imager（OLI）和Sentinel-2 Multispectral Instrument（MSI）图像对组成的真实世界多传感器数据集来训练SR模型，该模型可以比在模拟数据上训练的模型更有效地超分辨率Landsat 8数