在超图发布的SuperMap GIS 10i 版本中,大数据GIS 技术又有新进展,今天我们重点介绍分布式空间文件引擎(DSF,Distributed Spatial File),它更加适合全量空间数据的高性能分布式计算,能够进一步强化海量经典空间数据的分布式存储和管理能力。
DSF的设计目的
空间数据文件作为空间数据存储的载体之一,相比空间数据库具有占用资源少,应用便捷和利于归档的优势,在GIS行业应用中一直广泛使用,并不断地优化和升级。
由于经典空间数据的分析具有很强的空间位置相关性,将空间数据文件直接存入HDFS的简单分布式存储方案无法解决这种海量数据分析慢的问题,为此, 我们通过基于空间格网建立空间索引的方式,有针对性地优化读写存储在HDFS上的经典空间数据的性能,使得接入Spark分布式计算的大体量经典空间数据分析性能显著提升。
“HDFS+空间索引”的空间数据文件存储模式虽然可以满足空间分析性能要求,但它不支持对存入HDFS中的空间数据进行追加和更新,也不支持查看数据、查询数据以及数据制图等数据管理操作。因此,它不利于大规模空间数据贯穿整个GIS的应用流程,迫切地需要新的技术予以支撑。