达摩院重要科技突破！空天数据库引擎Ganos解读

简介：Ganos空天数据库引擎是李飞飞带领的达摩院数据库与存储实验室研发的新一代位置智能引擎，采用了平台即服务、多模融合、计算下推和云原生全新处理架构，为政府、企事业单位、泛互联网客户提供移动对象、空间/时空、遥感多模态数据混合存储、查询与分析服务，解决空天大数据使用流程复杂、使用门槛高、应用效率低等问题，主要应用于城市管理、交通物流、自然资源、航空航天、物联信息等领域。

作者 | 谢炯
来源 | 阿里技术公众号

Ganos空天数据库引擎是李飞飞带领的达摩院数据库与存储实验室研发的新一代位置智能引擎，采用了平台即服务、多模融合、计算下推和云原生全新处理架构，为政府、企事业单位、泛互联网客户提供移动对象、空间/时空、遥感多模态数据混合存储、查询与分析服务，解决空天大数据使用流程复杂、使用门槛高、应用效率低等问题，主要应用于城市管理、交通物流、自然资源、航空航天、物联信息等领域。

一 研发背景

1 什么是空天大数据

随着移动互联网、位置感知技术、对地观测技术的快速发展，以移动对象、空间/时空、遥感为代表的空天传感数据呈爆发式增长，成为新基建和数字化框架的重要基础。

狭义上，空天数据（aerospace data）主要来自天基和空基，例如基于天基平台的GNSS（全球导航卫星系统）数据等，基于空基平台的航拍影像、视频数据等。广义上，我们将空天数据定义为涵盖Spatial（空，即地理空间）和Space（天，即宇宙空间）的地海空天各类与位置相关数据，也即本文所述空天大数据。天问一号携祝融号在火星的登陆将为我们传来大量火星遥感影像和空间信息，使大家最直观地感受到来自地球之外的空天大数据。

以空天大数据助力疫情防控为例，我们可以利用人、车等移动对象的轨迹数据进行传播源追踪和疑似人群排查；利用海事通信卫星提供的AIS船舶动态数据分析疫情对港口贸易的影响等等。在这类复杂分析场景中，遥感影像、移动对象、物联通信等新型空天传感数据的快速获取、存储与高效查询处理为智能辅助决策起到关键作用。

2 空天大数据面临的挑战

数据结构复杂多样难以管理

相比文本型、图片型等非结构化数据，空天数据具有类型多样、高度非结构化、大单体、多维度等特征，给一体化数据管理和高效查询检索提出了极大挑战。例如：

• 百万点构成的超大复杂实体化对象，如长江/黄河、复杂建筑、灌区等；
• 千万点构成的移动对象时空轨迹，如车、船、航空器等超长行程数据；
• 万亿像素构成的大范围高分辨遥感影像连续覆盖……

数据动态变化要求更高维度计算

传统空间数据更多表达静态地物，如河流、铁路、建筑等。随着移动APP和IoT等技术的普及应用，以时空移动对象（人、车、船等）为代表的动态数据越来越多。记录位置的动态变化，需要系统提供时空建模、时空索引和时空分析计算能力。

大数据和大计算场景性能不佳

非结构化、大对象和动态性决定了空天数据的潜在大体量，单表小则千万级，大则百亿级场景将不再是个别现象，因此，对系统的存储成本、弹性能力、读写效率必将提出更高要求。当大规模数据要求提供在线化分析计算服务，传统基于离线预处理（如离线切片）方式的生产和应用流程将面临极大挑战。

智能化需要多模态数据融合管理

文本、时序、时空、图（Graph）等多模态数据融合管理和跨模查询分析是智能化的重要基础。单模态数据智能化无法有效支撑复杂业务知识发现并真正探寻事物发展规律和趋势，因此，从局部模型专业化到全局多模通用化仍存在较大鸿沟，需要从基础数据库形态层面发展全新架构。

3 达摩院首创空天数据库

针对此，达摩院研发新一代空天数据库引擎Ganos，从数据库与存储最底层解决空天数据的一体化管理、快速交叉融合查询以及高效分析处理挑战，实现 “亿级规模”地物多边形全图快显访问、秒级效率的“千万平方公里”遥感影像时空动态拼图等先进技术，具有“一体化融合管理、大规模弹性服务、核心技术自主可控”等优势，可面向空、天、地、海全域空间应用，成为支撑天联网和星云产业发展的新型数据库基础设施。

二 空天数据处理架构演进

1995年，美国ESRI公司为了满足2B市场需求，革命性地推出了空间数据引擎SDE——基于商业关系数据库+中间件架构建模我们的世界，影响了一代人。20多年过去了，随着Hadoop、Spark以及分布式数据库技术的演进，分布式空间数据引擎近年来得到了快速发展，在一些大规