分布式计算系统三巨头--Hadoop、Storm、Spark的区别和比较

目前主流的三大分布式计算系统Hadoop、Storm、Spark被广泛运用于大数据领域，且常常用来进行比较。现在就来分析一下，三只之间的区别

Hadoop、Spark的比较

核心组成
hadoop核心包括Hadoop分布式文件系统(HDFS)，Hadoop YARN，Hadoop
MapReduce。
Spark包括sparkcore，sparksql,sparkstreaming，sparkcore可以用来做离线处理，sparksql可以用来交互式查询，sparkstreaming用来进行实时处理。

处理引擎
相比MapReduce基于磁盘的批量处理引擎，
Spark赖以成名之处是其数据实时处理功能。

存储方式
MapReduce和Spark的主要区别在于：
MapReduce使用持久存储。
而Spark使用弹性分布式数据集(RDDS)。

优劣对比
Spark是在借鉴了MapReduce之上发展而来的，继承了其分布式并行计算的优点并改进了MapReduce明显的缺陷，具体如下：

• 首先，Spark把中间数据放到内存中，迭代运算效率高。
  MapReduce中计算结果需要落地，保存到磁盘上，这样势必会影响整体速度。而Spark支持DAG图的分布式并行计算的编程框架，减少了迭代过程中数据的落地，提高了处理效率。
• 其次，Spark容错性高。
  Spark引进了