8、基于风格迁移的多传感器云填补方法研究

基于风格迁移的多传感器云填补方法研究

1. 复合风格迁移模块 CAINA

为了让内容特征 X 与目标图像 Y 的无云背景更加一致，研究提出了复合风格迁移模块 CAINA。虽然实验表明 CAIN 能提供更准确的风格信息，但同一土地覆盖类型的均值和标准差是从无云补丁子集中聚合而来的，容易受到所采用聚类方法的限制。

因此，为了克服 CAIN 和 AdaIN 的缺点并同时发挥它们的优势，研究者提出了两者的加权组合 CAINA，其公式如下：

CAINA(X, Y ) = Convolution(CAIN(X, Y ) ⊕AdaIN(X, Y ))

这里使用卷积层对 CAIN 和 AdaIN 返回的串联特征进行自动加权组合。在这种设置下，既关注了同一土地覆盖类型的风格信息，也让整个图像的风格信息有助于预测。实验显示，使用 CAINA 降低了预测的方差，进一步减少了云填补的平均误差。

2. 深度学习网络架构

上述风格迁移模块独立于任何特定的深度学习网络，因此可以轻松集成到各种深度学习架构中。研究将 AdaIN、CAIN 和 CAINA 融入到受 MDRN 和 MSOPunet 启发的深度学习架构 MDRNunet 中。

由于考虑的是多传感器、多分辨率的云填补问题，该架构具有与 MDRN 相同的多流融合结构和复合上采样结构。同时，受 MSOPunet 的启发，采用了更多的 U - Net 组件。其架构和数据流如下：

graph LR
    classDef process fill:#E5F6FF