大数据GIS系列(1)——大数据时代下的GIS技术

Hadoop技术

Apache Hadoop项目提供了一个可扩展且可靠的分布式计算框架，允许大型数据集使用简单的编程模型在计算机集群上进行分布式处理。它被设计成能够从单一的服务器扩展到成千上万的机器，每个节点提供本地计算和存储。Hadoop意图在应用层检测和处理故障，而不是依靠硬件来提供高可靠性。它提供了基于集群的高可靠性服务，即使集群中的节点可能是易发生故障的。

Hadoop项目包括以下模块：

• Hadoop Common：支持其它Hadoop模块的公共实用工具（common utilities）。
• HDFS（Hadoop Distributed File System）: 分布式文件系统，能够对应用程序的数据进行高通量访问，提供了海量数据存储能力。
• Hadoop MapReduce：一个基于YARN的大型数据集并行处理系统，提供了海量数据计算能力。
• Hadoop YARN：用于作业调度和集群资源管理的框架。

Hadoop使用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用多节点集群的威力进行高速运算和存储。

Spark技术

Spark是继Hadoop之后的新一代时空大数据处理框架，它是由加州大学伯克利分校AMP实验室主导开发的。

Spark是基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点，但不同于MapReduce的是它的中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce算法。

Spark移动计算的位置而非移动数据，RDD分区可以就近读取分布式文件系统中的数据块到各个节点内存中进行计算。Spark还使用多线程池模型来减少任务启动的开销。