论文精读-Generate Your Own Scotland: Satellite Image Image Generation Conditioned on Maps 2023 NIPSW

Git链接：miquel-espinosa/map-sat: Generate Your Own Scotland: Satellite Image Generation Conditioned on Maps

目录

1.动机 (Motivation)

2.贡献 (Contributions)

3.数据集(Datasets)​编辑

3.1数据集构建

3.2数据质量比较

3.3 动机与实验目标：

4.方法 (Method)

5.实验 (Experiments)

5.1训练和推理细节 (Training and Inference Details)

未来工作 (Future Work)

---

1.动机 (Motivation)

论文的核心目标是解决扩散模型在地球观测 (Earth Observation, EO) 领域探索不足的问题，特别是如何利用如 OpenStreetMap (OSM) 这样的地图数据。通过条件生成逼真的卫星图像，作者希望提升 EO 分析能力，并支持数据增强、可视化等多种应用场景。

---

2.贡献 (Contributions)

1. 数据集构建：创建了包含苏格兰（包括苏格兰本岛和中央地带）OSM 和卫星图像配对的大型数据集。
2. 模型训练：使用 ControlNet（一种先进的扩散模型）训练模型，能够从 OSM 地图生成高保真度的卫星图像。
3. 洞见：通过定性分析生成的图像质量，总结了生成模型在 EO 领域的挑战和潜力。

---

3.数据集(Datasets)

3.1数据集构建

1. 数据类型：
   • 数据集由 256×256 像素的 OpenStreetMap (OSM) 图块 和 256×256 像素的卫星图像（World Imagery 提供） 配对组成。
   • 每对图像中，OSM 提供地理信息（如道路、建筑等），而卫星图像提供真实场景的视觉效果。
2. 固定文本提示：
   • 训练模型时，使用了固定的文本提示：“Convert this OpenStreetMap into its satellite view”（将这张 OSM 图转换为其卫星视图）。这个提示为预训练扩散模型 (Stable Diffusion, SD) 提供条件引导。
3. 研究区域：
   • 本研究选取的区域为苏格兰本岛：
     • 苏格兰本岛 (Mainland Scotland)：地形以自然特征为主（如森林、田野、山脉等）。
     • 中央地带 (Centra