高性能分布式空间文件引擎

超图GIS的DSF(分布式空间文件引擎)专为全量空间大数据设计,采用HDFS存储和Parquet文件格式,结合Spark分布式计算,实现高性能的空间数据存储、分析和可视化。DSF支持矢量、栅格和影像数据,具备数据追加和更新功能,大幅提高空间数据分析效率。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

在超图发布的SuperMap GIS 10i 版本中,大数据GIS 技术又有新进展,今天我们重点介绍分布式空间文件引擎(DSF,Distributed Spatial File),它更加适合全量空间数据的高性能分布式计算,能够进一步强化海量经典空间数据的分布式存储和管理能力。

DSF的设计目的

空间数据文件作为空间数据存储的载体之一,相比空间数据库具有占用资源少,应用便捷和利于归档的优势,在GIS行业应用中一直广泛使用,并不断地优化和升级。

最初,空间数据文件是单机存储,但随着数据量的增大,单节点存储已经不能很好地满足分析时的数据读取的性能要求。对此,我们引入分布式存储,将Shapefile,CSV, GeoJson等文件直接存入HDFS分布式文件系统中,并接入Spark分布式计算能力,有效提升了空间大数据的存取和分析性能,但是对于海量经典空间数据的分析性能的提升并不理想。

由于经典空间数据的分析具有很强的空间位置相关性,将空间数据文件直接存入HDFS的简单分布式存储方案无法解决这种海量数据分析慢的问题,为此, 我们通过基于空间格网建立空间索引的方式,有针对性地优化读写存储在HDFS上的经典空间数据的性能,使得接入Spark分布式计算的大体量经典空间数据分析性能显著提升。

“HDFS+空间索引”的空间数据文件存储模式虽然可以满足空间分析性能要求,但它不支持对存入HDFS中的空间数据进行追加和更新,也不支持查看数据、查询数据以及数据制图等数据管理操作。因此,它不利于大规模空间数据贯穿整个GIS的应用流程,迫切地需要新的技术予以支撑。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值