24、基于机器学习的地图生成与图像融合技术

基于机器学习的地图生成与图像融合技术

1. 相关技术背景

1.1 数据集与标注

场景图像从 ADE20K 和 Transient Attributes 两个数据集中提取。这些图像被标注了 150 个语义类别和 40 个瞬态属性，如季节、光照条件、时间、天气等。语义类别可让用户定义图像布局，瞬态属性则能控制输出风格的各种属性。

1.2 空间生成对抗网络（Spatial GANs）

此前已有工作尝试解决网络架构严格限定输出分辨率的问题。全卷积生成网络的一种变体可从单张图像或少量图像中提取学习到的模式，然后生成任意大小的图像，该图像在高层结构和低层细节上与源图像非常相似。不过，这项技术主要针对纹理设计，生成的模式具有高度重复性，不适用于对输出空间结构要求较高的领域。

1.3 机器学习在地图生成中的应用

• 地形、植被和城市的 3D 模型生成 ：利用单张真实城市的街景图像，通过生成对抗网络（GAN）从街景图像的分割图中提取的潜在向量合成高度图和相应地形，再用卷积神经网络（CNN）提取城市相关属性，用于在 GAN 生成的地形上创建、纹理化和放置 3D 模型。
• 基于 CNN 的植被分布学习 ：使用 CNN 从示例地形中学习植被分布模式，并快速将相同的植被模式填充到目标地形中，可加快 3D 艺术家在场景中放置植被的耗时任务。
• 基于 Spatial GANs 的地形生成 ：利用 Spatial GANs 从航天雷达地形测绘任务（SRTM）的高程数据中学习模