Zero-shot：半监督：pansharpening

创作活动

Zero-shot semi-supervised learning for pansharpening

（用于全色锐化的零次半监督学习）

Zero-shot semi-supervised learning for pansharpening - ScienceDirect

全色锐化是指融合低分辨率多光谱图像（LRMS）和高分辨率全色（PAN）图像以生成高分辨率多光谱图像（HRMS）。传统的全色锐化方法使用单对LRMS和PAN以全分辨率生成HRMS，但是由于融合产物之间的线性关系（通常不准确）的假设，它们无法生成高质量的融合产物。卷积神经网络方法，即，有监督和无监督学习方法可以对数据之间的任意非线性关系建模，但当测试数据与训练数据不一致时，性能甚至比传统方法更差。此外，监督方法依赖于模拟降低分辨率的数据进行训练，导致全分辨率的信息丢失。由于缺乏参考图像和退化过程估计的不准确性，无监督的泛锐化遭受失真。在本文中，我们提出了一种用于泛锐化的零镜头半监督方法（Zero-Shot Semi-Supervised Method for Pansharpening，简称Zero-Pan），该方法只需要一对PAN/LRMS图像来训练和测试网络，结合了监督和非监督方法的优点。面对训练数据有限和没有参考图像的挑战，使用两阶段三分量模型构建了C-Pan框架，即，降低分辨率的监督预训练（RSP）、空间退化建立（SDE）和全分辨率无监督生成（FUG）阶段。具体而言，一个特殊的参数初始化技术，数据扩充策略，并提出了一个非线性退化网络，以提高网络的表示能力。

Related works and motivations

所提出的ZS-PAN半监督框架属于DL类。由于泛锐化没有自然的参照，现有的范式可以分为两类，即有监督和无监督。在这一部分中，我们将首先介绍现有的监督和非监督的全锐化学习策略，以及其他计算机视觉领域的零次学习。之后，我们将指出这项工作的动机。不同全锐化策略的框架如图2所示

Zero-shot

零样本学习依赖于单个图像，其中训练和测试在同一图像上执行。零样本方法不需要大量的训练数据，因此训练非常轻。

动机

基于DL的全色锐化具有很大的数据集依赖性，但传统的全色锐化方法提醒我们，小数据也可以生成高质量的融合结果。虽然数据驱动的方法在某些领域取得了令人满意的结果，但当训练和测试数据不一致时，基于DL的 pansharpening性能较差，使我们思考如何优化训练数据以避免这个问题。基于模型的方法很难超越DL方法，因为它们假设LRMS、PAN和HRMS之间存在线性关系，但它们仍然生成出色的视觉结果。假设LRMS、PAN和HRMS之间存在线性关系，它们仍然生成出色的视觉结果，并且它们更灵活，因为它们不需要大量数据，并且它们（通常）不需要任何模拟步骤。因此，使用小规模数据集和非线性模型可以很好地解决全色锐化问题。

有监督和无监督的泛锐化都有各自的优点和缺点。监督学习不能以全分辨率探索信息，但它有一个参考图像来指导训练过程。无监督pansharpening探索全分辨率特征，但缺乏参考使训练变得困难。因此，这两种策略的结合可以提高网络的表示能力。

因此，我们比较了不同泛锐化范式的优缺点，如表1所示，我们提出了一个零次半监督泛锐化框架。我们的LRMS/PAN的输入数据是单个LRMS/PAN对。原始（全分辨率）特征可以通过非线性神经网络来探索。

将零次半监督学习应用于全色锐化有一些好处：（1）一致的训练和测试数据，即，零激发全色锐化的训练和测试数据都是要融合的单个LRMS/PAN对;（2）跨尺度训练，即，我们的方法的训练是在降低和在全分辨率下执行的，这意味着降低分辨率下的参考可以帮助提高表示能力，即使不忽略全（原始）分辨率下的信息。

The proposed method

Notation and DL-based pansharpening

Overall framework

降低分辨率监督预训练（RSP）、空间退化建立（SDE）和完整的-分辨率无监督生成（FUG）阶段

ZS-Pan框架是具有三个组件的两阶段半监督框架，即，RSP、SDE和FUG。在第一阶段中，RSP和SDE同时进行。在第二阶段，执行FUG生成HRMS。随后，我们将深入到一个详细的讨论三个组成部分的ZS-Pan。图3中示出了完整的ZS-Pan方法

RSP

如第2.3节所述，零次学习的问题之一是用较少的数据生成高质量的HRMS。为此，我们提出了RSP策略。在这种策略中，我们首先使用LRMS作为参考，以低分辨率训练所提出的零次网络（Zero-Shot Network），参见图4。然后，我们使用在降低分辨率下训练的参数以全分辨率初始化神经网络。

使用MTF匹配滤波器对原始LRMS和PAN图像进行下采样，以获得RRMS和RRPAN，其中抽取decimation率等于PAN和MS之间的分辨率比

执行数据增强，将原始图像裁剪成五块，镜像对称翻转。

监督学习利用参考图像。以这种低分辨率进行监督训练方式进行的训练使网络处于更有利的状态，以应用零次方法。首先，通过，可以在参考数据的帮助下初始化网络的表示模式。随后，以全分辨率进行无监督训练作为微调，使网络能够有效地处理原始（全分辨率）图像。这种方法相对于只进行无监督学习的优越性在4.4节中得到了证明。

SDE

如第2.3节所述，零次学习必须解决生成空间和光谱退化过程的问题，这些过程用于计算损失函数。因此，如何对HRMS和LRMS图像之间的光谱关系建模以及如何对HRMS和PAN图像之间的空间关系建模是在设计阶段要考虑的问题。

值得注意的是，我们在 LRMS 图像上训练 MS2PAN-Net，使该网络也适用于 HRMS 图像，因此在此阶段应避免过度拟合。为了解决过度拟合问题，应考虑深度弹性网络和受限网络之间的权衡。,深度弹性网络（具有更多参数）具有更好的能力来表示一般（非线性）变换，但过度拟合会显着降低此类网络的性能，特别是对于零样本任务。相反，简单的受限网络具有较低的表示能力，但减少了过拟合现象。,这两种网络的比较如图6所示。选择CWSB模块来构建受限网络。 ,4.4 节中的实验表明，后一个网络对于零样本任务的更复杂解决方案具有更好的性能。,如第 3.3 节所述，在训练之前也应用了数据增强，以避免过度拟合。,考虑到MS2PAN网络（MS2PAN-Net）用于提取空间特征，该阶段称为SDE。

FUG

FUG 组件在 ZS-Pan 框架的第二阶段使用。 ZS-Net 的网络架构可以是任何最先进的基于 DL 的全色锐化架构，例如 FusionNet [51] 或该领域的任何其他最新发展。为了以无监督的方式训练 ZS-Net，应该定义空间和光谱损失。对于空间损失，可以应用在SDE阶段已经训练好的MS2PAN-Net。

为了以零样本方式训练 ZS-Net，应该使用 RSP 阶段获得的权重对其进行初始化。因此，权重（用 𝜃𝑍𝑆 表示）如上所述被正确初始化，并且可以在 FUG 阶段对其进行微调，以（13）中的全分辨率损失驱动该过程。最后，该过程的输出是所提出的全色锐化方法的结

果。

实验

数据集GitHub - liangjiandeng/PanCollection: Pansharpening Dataset，wv2，wv3

评价指标

[62] A. Arienzo, G. Vivone, A. Garzelli, L. Alparone, J. Chanussot, Full-resolution

quality assessment of pansharpening: Theoretical and hands-on approaches, IEEE

Geosci. Remote Sens. Mag. (2022).

Improvement analysis改进分析

 在本节中，我们建议对 ZS-Pan 的优势、劣势、机会和威胁 (SWOT) 进行分析。后者在图 16 中进行了总结，帮助读者快速了解所提出方法的优缺点。