随着各行各业信息化程度的不断升高,空间数据的数据量也在不断积累,在空间数据发布和浏览时,为提高地图浏览的效率,往往采用预先切片的技术路线。全国级别的数据切到18级,往往需要数天乃至数周的时间,无法满足数据快速上线的要求,而不切片又无法达到足够的实时地图浏览性能要求。
分布式存储的HBase数据库可以轻松管理单表上亿乃至数十亿的空间对象,只需先把数据导入到HBase数据库中,采用高性能分布式地图渲染技术,就能实现数据的“免切片”发布与浏览。如下图对于亿级矢量、栅格数据实现的高效渲染的能力。
上:2.8亿面+1.5亿线数据免切片渲染 下:全球遥感影像+亿级路网数据免切片渲染
本文将以一个700万数据量的土地利用面数据为例,带领大家完成基于HBase集群的数据导入、配图与服务发布过程,实现空间大数据的免切片渲染。
环境准备
集群环境准备:
- 集群搭建HDFS、HBase、Spark(环境变量中配置SPARK_HOME)
软件准备:
- SuperMap iObjects for Spark
- Sup