《“十三五”国家信息化规划》发布以来,我国大数据产业发展迅猛,基于大数据的融合发展成为一种新的趋势。地理信息产业与大数据的结合,也成为地理信息产业发展的新领域、新动能。GIS也经历着从传统迈向大数据时代的变革。
在这个信息爆炸的时代,不管传统测绘方法,还是包括倾斜摄影、激光点云、街景等新型测绘方法所产生的数据越来越大,且在互联网、移动互联网、物联网等高新技术支撑下自动获取的数据也有很高比例带有空间位置信息;空前的数据规模已经超越了传统空间数据管理系统和处理模式的能力范围,必须引入新的技术予以支撑。
超图软件创造性地将GIS核心能力嵌入到大数据基础框架之内,实现大数据技术与GIS技术的深度融合,并打造出一套完整的大数据GIS技术体系。
核心架构
超图大数据GIS技术体系能够“玩转”行业中的大数据GIS应用,与技术体系中的三大关键技术密不可分,它们是:分布式技术、流数据的实时处理技术和大数据空间可视化技术,这三大技术都是GIS与通用大数据技术相结合的产物。
图 1:大数据GIS的核心技术
分布式技术通过引入HDFS、HBase、Elasticsearch等主流的分布式存储系统,数量级地提升了对超大规模空间数据的存储容量。以Spark分布式计算框架为基础, SuperMap GIS 软件对地理空间分析算法进行分布式改造,在数小时就可完成对上亿条空间对象之间的空间分析计算,利用分布式技术改造地图渲染模式,可实现对超大规模空间数据的“免切片”渲染。
流数据的实时处理技术基于Spark Streaming流计算框架的基础能力,扩展实现流式数据的实时接入、过滤、转换、计算、可视化与输出等相关能力。