GeoTrellis
介绍
GeoTrellis是一个基于Apache spark 的用于处理栅格数据的scala库和框架
- 可以高效的读/写和操作栅格,实现了地图运算和矢栅转换工具
- 可以将栅格数据渲染成PNG图片,元数据转换成JSON
GeoTrellis解决了三个核心的问题
- 创建可扩展的,高性能的地理信息处理WEB服务
- 创建分布式的地理信息处理服务,用来处理海量数据集
- 完成并行化地理信息处理操作,以利用多核架构的优势
GeoTrellis可以将数据(Tiff) 从本地,HDFS,S3中导入到本地,HDFS,Accumulo,HBASE,CASSANDRA,S3等,可选方式很多,而且是通过Spark集群并行处理,相当于GeoTrellis已经实现了分布式的瓦片切割。
GeoTrellis是针对大数据量栅格数据进行分布式空间计算的框架,所以无论采取何种操作,都是先将大块的数据切割成一定大小的小数据(瓦片),这是分治的思想,也是分布式计算的精髓。GeoTrellis的第一步就是要将数据切片(无论是存储在内存还是持久化),然而即使能力再大,在实际工作中也难以处理以下几种需求:
-
全球(大范围) 高分辨率遥感影像数据,数据量在TB级
-
局部地区数据更新
-
不同时间数据融合
可行的方案是执行更新操作或者分批处理,GeoTrellis框架中提供了数据