63、地球观测与非地球观测数据融合技术解析

地球观测与非地球观测数据融合技术解析

1. 相关工作

多年来，已确定了两种融合多模态信息的主要策略。早期融合是在特征层面实现的，将来自多个模态的特征组合成一个共同的特征向量；而晚期融合则是在决策层面融合信息。

在之前的数据融合研究中，探讨了将数据表示为词袋模型的方法，通过对各种模态进行聚类，并应用贝叶斯推理将聚类融合到图像类别中。此外，还有研究从同一观测中提取不同的信息模态并进行融合，以增强分类效果。近期，在CANDELA项目框架内，实现了不同Sentinel - 1和Sentinel - 2波段的合并。在2019年的“Living Planet”会议上，还讨论了合成孔径雷达（SAR）图像的语义级融合。

与浅层机器学习或深度学习方法相比，主动学习具有重要优势，具体对比如下：
| 关键性能指标 | 浅层机器学习 | 深度学习 | 主动学习 |
| — | — | — | — |
| 训练数据量 | 中等（GB） | 非常高（PB） | 非常小（0.1 KB） |
| 已训练数据量 | 大（GB - TB） | 非常高（PB） | 大（GB - TB） |
| 类别数量 | 最多100个 | 最多100个 | 任意，用户自定义 |
| 分类准确率 | 平均85% | 平均90% | 平均85% |
| 训练速度 | 中等（小时） | 慢（天） | 快（分钟） |

主动学习方法包括相关性反馈和级联学习，支持用户在大型图像库中搜索感兴趣的图像。通过图形用户界面（GUI）可以对建议的图像进行自动排序，用户给出正例和反例后，视觉支持的排序可以提高搜索结果的质量。在主动学习过程中，要实现两个目标：一是尽可