62、无监督预训练提升变化检测与多模态融合在哨兵影像和社交媒体检索中的应用

无监督预训练提升变化检测与多模态融合在哨兵影像和社交媒体检索中的应用

1. 无监督预训练用于变化检测

在城市变化检测领域，研究人员致力于利用无监督预训练的方法提升检测效果。

1.1 S2MTCP 数据集

为了进行自监督训练，创建了 Sentinel - 2 多时态城市对（S2MTCP）数据集。该数据集包含 N = 1520 个图像对，图像对聚焦于城市区域，其位置是基于两个包含世界主要城市（居民超过 20 万）中心坐标的数据库选取的。
操作步骤如下：
1. 从每个位置的可用 S2 图像中随机选择云覆盖率低于 1% 的图像对。
2. 将空间分辨率小于 10 米的波段重采样为 10 米。
3. 将图像裁剪为以所选坐标为中心，约 600×600 像素的大小，每个图像大约覆盖 3.6 平方公里。
4. 由于 Sentinel 1C 级处理已包含亚像素精度的空间配准，因此无需进行额外的图像配准。
该数据集可在 URL https://zenodo.org/record/4280482 获取。

1.2 自监督预训练设置

使用 85% 的 S2MTCP 数据集 U 训练模型，10% 用于验证，剩余 5% 作为盲测集进行数值评估。
参数优化使用 Adam 优化算法，超参数默认值为 β1 = 0.9，β2 = 0.999。当验证损失在各轮之间下降不到 1% 时停止训练。使用固定学习率 0.001 和权重衰减 0.0001，实验将 Eq. (2) 中的 γ 参数设置为 1。
每轮迭代从每个图像中采样 5 个补丁对（或预文本任务 2 的三元组），每轮生成 6350 个补丁对，并