OpenAerialMap项目中的外部STAC数据集成方案研究

OpenAerialMap项目中的外部STAC数据集成方案研究

背景与需求分析

OpenAerialMap作为一个开源的地理空间数据平台，其核心目标是为用户提供便捷的航拍影像访问服务。随着项目发展，团队认识到仅依靠自有数据源已无法完全满足用户需求，需要探索如何将外部数据源整合到现有的STAC(空间时间资产目录)系统中。

外部数据源评估

经过技术调研，团队识别了多个潜在的外部数据源候选：

1. Maxar开放数据计划：提供灾害响应相关的高分辨率卫星影像
2. Satellogic EarthView数据集：包含多光谱卫星影像
3. Planet公司的卫星影像目录
4. Capella Space开放数据集：合成孔径雷达(SAR)数据
5. AWS开放数据平台上的灾害响应标签数据集

这些数据源各有特点，其中Maxar开放数据因其丰富的灾害响应影像和规范的STAC实现成为优先考虑对象。

技术方案对比

团队深入研究了两种主要集成方案：

方案一：前端直接对接外部STAC API

优点：

• 实现简单，无需数据同步
• 保持数据实时性

缺点：

• 无法统一搜索多个数据源
• 受限于外部API的性能和稳定性
• 难以实现跨数据源的瓦片服务

方案二：数据入库集成

优点：

• 统一搜索体验
• 可对元数据进行标准化处理
• 支持跨数据源的瓦片服务
• 不受外部API变更影响

缺点：

• 需要开发数据同步机制
• 增加存储和管理成本

最终技术决策

基于项目需求和技术评估，团队决定采用数据入库集成方案，主要考虑因素包括：

1. 搜索体验：需要支持跨数据源的统一搜索，前端直接对接难以实现
2. 服务稳定性：避免依赖外部服务的可用性
3. 功能扩展：支持瓦片服务和影像镶嵌等高级功能
4. 数据标准化：确保所有数据符合OAM扩展规范

实施方案细节

数据转换与标准化

1. 开发专门的stactools包处理Maxar数据转换
2. 元数据标准化处理：
   • 添加provider字段标识数据来源
   • 补充license信息
   • 标准化平台类型标识
   • 确保符合OAM STAC扩展规范

数据同步机制

1. 利用Maxar提供的event_info.json实现增量同步
2. 设计定期同步任务，保持数据更新
3. 实现错误处理和重试机制

系统架构

1. 在现有PgSTAC数据库中创建专门collection
2. 通过TiTiler提供统一的瓦片服务
3. 前端无需感知数据来源差异

技术挑战与解决方案

1. 数据组织差异：

   • Maxar采用多级Catalog结构
   • 解决方案：扁平化处理，通过关键词分类

2. 元数据规范差异：

   • 平台/传感器命名不一致
   • 解决方案：建立映射关系，统一术语

3. 同步效率：

   • 全量同步成本高
   • 解决方案：基于时间戳的增量同步

未来扩展性

该方案设计考虑了未来的扩展需求：

1. 可轻松添加新的外部数据源
2. 同步机制可配置化
3. 转换逻辑模块化，便于维护

总结

OpenAerialMap通过将外部STAC数据标准化后入库集成的方案，实现了多源数据的统一管理和服务，既保持了系统的灵活性，又确保了用户体验的一致性。这一技术决策为平台的长远发展奠定了坚实基础，使平台能够以更丰富的数据资源服务更广泛的用户群体。