Missing information reconstruction integrating isophote constraint and color-structure contro（论文翻译）

ISPRS 2024

论文名称:结合等照线约束和颜色-结构控制的遥感数据缺失信息重建

论文地址：

代码地址: https://github.com/YuXiaoyu221/IC_CSC-Information-Reconstruction.

摘要

        遥感图像通常由于传感器缺陷和恶劣的大气条件而遭受信息丢失问题，导致数据质量显著下降。针对这一问题，提出了一种新颖的图像重建方法，以提高此类数据的可用性。所提出的方法使用参考图像中的等照线信息作为约束来恢复目标图像中的缺失信息。等照线指的是具有相同照度强度的相邻像素，即具有相似灰度值的像素。提出了自适应加权梯度来计算像素的等照线。由于最小梯度方向上权重较大，图像中相似像素之间的差异趋于保持恒定，以最小化图像之间的等照线差异。因此，在重建图像中，参考图像和目标图像之间的辐射差异归因于像素值显著变化的区域，属于相同地面特征的像素将具有相似的值，从而确保特征的内部稳定性并增加不同特征之间的差异。此外，为了控制地面特征的颜色保真度并提高重建精度，在基于等照线的图像重建之前，用某些像素更新目标图像。这些像素在颜色-结构控制下填充了缺失区域外的辅助信息，并均匀分布在缺失区域的每个均匀颜色的小区域中。在不同缺失信息情况下的实验表明，所提出的方法是有效的，实验结果表明，即使对于具有大缺失区域的图像，所提出的方法也能获得具有高颜色一致性和重建精度的视觉上合理的图像。

引言

        由于过去几十年遥感技术的显著进步，遥感数据在环境监测和地球观测等广泛应用中变得极为宝贵(Fang et al., 2021; Xu et al., 2022b)。然而，所获得的遥感数据由于传感器缺陷和恶劣的大气条件通常是不完整的(Shen et al., 2015)。例如，由于探测器故障或噪声引起的Aqua中分辨率成像光谱仪(MODIS)第6波段的条带问题，严重影响了MODIS雪产品的生成(Wang et al., 2006); 在Landsat-7增强型专题绘图仪(ETM+)传感器中，由于扫描线校正器(SLC)的永久故障，每幅Landsat-7 SLC关闭图像都损失了超过20%的像素(Chen et al., 2011; Zeng et al., 2013); 自2008年初以来，搭载在Aura卫星上的臭氧监测仪(OMI)中发生的行异常，严重减少了OMI的空间覆盖范围(Torres et al., 2018)。此外，根据MODIS数据，云覆盖了地球表面的约67%(King et al., 2013)。因此，大量卫星图像面临信息丢失问题，显著降低了这些数据的可用性。

        在过去的几十年中，许多信息重建方法被研究用于恢复遥感数据中的缺失区域。通常，要重建的图像通常称为目标图像，而目标图像中的缺失区域通常称为目标区域(Cheng et al., 2014)。根据用于图像恢复的辅助信息源，这些方法主要分为四类：基于空间的方法、多光谱方法、多时相方法和混合方法(Cao et al., 2020; Yu et al., 2023)。

        基于空间的方法利用目标图像中缺失区域外的可用信息进行信息重建。最具代表性的是插值方法，如最近邻插值和双线性插值(Atkinson et al., 1990)，以及地统计插值方法，如克里金插值(Rossi et al., 1994; Yu et al., 2011)。此外，Criminisi et al. (2004)提出了一种基于示例的合成方法，该方法根据置信度顺序填充缺失像素。Shen和Zhang (2009)开发了一种基于最大后验概率的方法，利用图像空间约束解决图像条纹和图像修复问题。Maalouf et al. (2009)使用Bandelet变换和多尺度分组确定并传播图像的几何流曲线以恢复云污染图像。这些基于空间的方法在地面特征不复杂时通常容易实现且有效(Guillemot and Le Meur, 2014)。然而，随着缺失区域的扩大，先验信息不足可能导致重建精度显著下降。

多光谱方法

        多光谱方法主要利用未受影响波段的辅助信息，根据光谱相关性来恢复受影响波段。多光谱和高光谱数据中的冗余光谱信息被用于恢复某些波段的缺失信息。基于Aqua MODIS第6波段和第7波段之间的高相关性，Aqua MODIS的缺失第6波段可以通过回归分析和局部拟合来恢复(Gladkova et al., 2012; Li et al., 2014; Shen et al., 2011; Wang et al., 2006)。由于这些长波长的波段可以穿透薄云和薄雾，一些方法也被开发出来，利用清晰波段的辅助信息来重建薄云图像(Kulkarni和Rege, 2020)。例如，基于不同大气条件下的光谱响应特性，创建了雾霾优化转换模型(Hong和Zhang, 2018; Zhang et al., 2002)，该模型在恢复图像中的雾霾和薄云区域方面非常有效。还提出了一种改进的同态滤波方法，通过将云作为一种常见噪声来去除ASTER数据中的薄云(Chun et al., 2004)。考虑到云图中缺失区域和清晰区域之间信噪比的差异，建立了一个噪声调整主成分变换模型，基于第一个成分分离受影响的信息，随后反向变换以获得重建图像(Xu et al., 2019)。一般来说，当目标图像同时具有完整和不完整的光谱波段时，这些多光谱方法表现良好。

多时相方法

        多时相方法通过使用在不同时期捕获的同一区域的参考图像的互补信息来恢复目标图像(Zhang et al., 2021)。最直接的方法是用多时相图像的对应区域替换目标图像的缺失区域(Fang et al., 2021; Kang et al., 2016; Li et al., 2003)。为了处理具有明显辐射差异的图像，Meng等人(2019)开发了一种基于变分的融合模型，该模型使用多时相数据的辅助信息来预测云图中的缺失信息。Cao等人(2020)提出了一种自回归模型来恢复Landsat数据的缺失信息。除了使用参考图像的像素进行重建，一些研究人员还指出，使用目标图像本身的像素进行信息重建可能会提供更自然的结果。这些方法主要通过使用参考图像中的对应像素来识别目标图像中的相似像素，然后基于这些相似像素拟合缺失像素，例如最近光谱拟合(CSF)模型(Meng et al., 2009)和加权线性回归(WLR)算法(Zeng et al., 2013)。基于泊松融合修复算法(Pérez et al., 2003)，还提出了一些使用参考图像的梯度信息作为约束的缺失信息重建方法(Duan et al., 2020; Hu et al., 2019; Lin et al., 2013)。此外，Yu等人(2023)还开发了一种曲率驱动的方法来恢复光学卫星数据中受云影响的区域，这些缺失像素在曲率域中而非自然域中恢复。总的来说，当目标图像和参考图像之间的颜色差异和地表覆盖变化不显著时，这些方法通常能产生可靠的结果(Xu et al., 2022b)。

        混合方法整合了来自空间、光谱或时间域的辅助信息进行图像重建。为了恢复云污染图像中的缺失信息，Li等人(2019)提出了一种非负矩阵分解和误差校正方法，该方法引入了基于空间和时间非局部滤波的融合模型，以缩短多时相图像之间的时间差异。Wang和Wang(2022)提出了一种快速空间光谱随机森林方法，用于恢复多光谱图像的云污染区域。Zheng等人(2023)开发了一种通过空间-光谱-时间连接张量网络分解的半盲厚云去除方法，该方法在子空间表示下对小尺寸内在图像进行操作，而不是大尺寸原始图像，从而在减少计算复杂度的同时保留空间-光谱-时间关系。由于在图像处理中具有巨大潜力，一些使用深度学习的信息重建方法也得到了广泛探索(Tao et al., 2022)。例如，Zhang等人(2018)通过使用深度卷积神经网络(CNN)创建了一个空间-时间-光谱(STS)特征学习模型。随后，在STS的基础上提出了一种渐进空间-时间补丁组深度学习框架，用于利用多时相云污染图像填补空白(Zhang et al., 2020)。通过应用生成对抗网络(GAN)，提出了一种可训练的时空GAN模型用于光学图像中的云去除(Sarukkai et al., 2020)。Yu等人(2022)提出了一种多尺度失真感知网络，以恢复被云遮盖的图像中的地表覆盖物，该网络采用网格架构，在不同尺度上逐步提取无云表示，并自适应地整合这些多尺度表示。Long等人(2023)提出了一种结合了两种依赖移动的Bishift网络，一种移动涉及时刻匹配和深度风格转换，以初步缓解多时相图像之间的时间差异，而另一种则利用改进的移动网络重建被云遮盖的缺失信息。Guo等人(2023)设计了一种基于云感知集成快速傅里叶卷积网络的盲单图像薄云去除新方法，包括两个模块：用于全局薄云检测的云感知模块和用于信息恢复的基于快速傅里叶卷积的重建模块。此外，一些利用多源和多时相数据的互补信息的方法也得到了研究(Ebel et al., 2022)。Xu等人(2022a)提出了一种新的全局-局部融合网络，利用SAR图像的辅助信息，包括全局上下文交互块和局部特征补偿块。通常，当待处理数据的特征与训练数据集相似时，这些深度学习方法具有很强的鲁棒性(Sebastianelli et al., 2021; Shen et al., 2015)。

        不同于这些方法，本文提出了一种新的混合方法，不需要大量的训练数据。该方法同时使用缺失区域的等照线信息和缺失区域外的空间信息进行图像重建。等照线是指具有相同照明强度的邻近像素，即具有相似灰度值的像素。由于在等照线约束下恢复目标图像的缺失区域，相似像素之间的差异趋于恒定，以最小化图像之间的等照线差异。因此，属于同一地物的像素灰度值将相似，而参考图像和目标图像之间的辐射差异归因于像素值发生显著变化的区域，从而确保特征的内部一致性并增加不同特征之间的差异。此外，为了提高地物特征的颜色保真度和结果的重建精度，在图像重建之前使用颜色结构控制解决某些缺失像素。这些像素分别从缺失区域中每个均匀着色的小区域中选择。在用这些解决的像素更新目标图像后，在等照线约束下重建目标图像中的所有缺失像素。本文的贡献如下：

        (1) 提出了用于等照线估计的自适应加权梯度，并建立了等照线约束以进行信息重建。在重建的图像中，图像之间的辐射差异被分配到像素值发生显著变化的区域，从而确保特征的内部稳定性并增加不同特征之间的差异。

        (2) 在基于等照线的图像重建之前，使用颜色结构控制填充某些缺失像素以更新目标图像。这些像素均匀分布在缺失区域的每个均匀着色的小区域中。因此，控制了地物特征的颜色保真度并提高了重建精度。

        (3) 进行了一系列实验，包括模拟数据实验、真实数据实验和不同情况下的消融实验。实验结果的定性和定量分析表明，即使信息严重缺失，所提出的方法也能获得视觉上合理且具有高重建精度的图像。

        本文其余部分的组织结构如下：第2节描述了等照线的定义和等照线估计。第3节介绍了所提出的方法。第4节展示了三组实验的实验结果并讨论了主要发现。第5节总结了所提出的工作。

2. 等照线估计

        在本节中，首先介绍等照线的传统定义，然后提出并详细解释基于自适应加权梯度的等照线估计。最后，展示等照线约束在图像重建中的重要性。

2.1 传统定义中的等照线

        对于离散图像，等照线是由具有相同光照强度（即相似像素值）的像素连接而成的线。更具体地说，在以点P为中心的8邻域的局部区域中，点P处等照线的方向是梯度值最小的方向。图1展示了一个示例。图1(a)显示了以点P为中心的8邻域内的像素，图1(b)显示了不同方向上的梯度，其中红色箭头所指的方向为点P处的等照线方向。

        根据图1计算每个像素的等照线后，可以构建参考图像的等照线网。图2(a)为目标图像，其中橙色点为已知像素，灰色点为缺失像素。图2(b)为参考图像，箭头所指方向为每个像素的等照线方向。显然，不可能每个像素都直接或间接连接到已知像素，如图2(b)中的P1和P2。在这种情况下，利用参考图像的等照线网和目标图像的这些边界像素高效地解决所有像素是具有挑战性的。因此，本文需要重新定义等照线的计算过程。