高性能分布式空间文件引擎

在超图发布的SuperMap GIS 10i 版本中，大数据GIS 技术又有新进展，今天我们重点介绍分布式空间文件引擎（DSF，Distributed Spatial File），它更加适合全量空间数据的高性能分布式计算，能够进一步强化海量经典空间数据的分布式存储和管理能力。

DSF的设计目的

空间数据文件作为空间数据存储的载体之一，相比空间数据库具有占用资源少，应用便捷和利于归档的优势，在GIS行业应用中一直广泛使用，并不断地优化和升级。

最初，空间数据文件是单机存储，但随着数据量的增大，单节点存储已经不能很好地满足分析时的数据读取的性能要求。对此，我们引入分布式存储，将Shapefile，CSV， GeoJson等文件直接存入HDFS分布式文件系统中，并接入Spark分布式计算能力，有效提升了空间大数据的存取和分析性能，但是对于海量经典空间数据的分析性能的提升并不理想。

由于经典空间数据的分析具有很强的空间位置相关性，将空间数据文件直接存入HDFS的简单分布式存储方案无法解决这种海量数据分析慢的问题，为此， 我们通过基于空间格网建立空间索引的方式，有针对性地优化读写存储在HDFS上的经典空间数据的性能，使得接入Spark分布式计算的大体量经典空间数据分析性能显著提升。

“HDFS+空间索引”的空间数据文件存储模式虽然可以满足空间分析性能要求，但它不支持对存入HDFS中的空间数据进行追加和更新，也不支持查看数据、查询数据以及数据制图等数据管理操作。因此，它不利于大规模空间数据贯穿整个GIS的应用流程，迫切地需要新的技术予以支撑。

图 1 空间数据文件管理发展历程

超图创造性地研发了分布式空间文件引擎（Distributed Spatial File，以下简称DSF），能够管理矢量、栅格和影像数据，兼备大体量空间数据的