Spark概述

Spark是一个基于大数据处理的快速并且综合的引擎。

通过逻辑回归分析，如果基于内存进行运算，Spark比Hadoop MapReduce快100倍；如果基于硬盘进行运算，Spark比Hadoop MapReduce快10倍。究其主要原因是因为Spark的高级DAG执行引擎，该引擎支持循环数据流和内存计算。

Spark的程序编写及其方便，目前支持的语言有Java、Scala、Python、R。其中Scala、Python和R shells支持交互式操作。

Spark通过提供80多种高水平的操作，使得编写并行apps很容易。

Spark提供了一堆包含SQL、DataFrames、MLlib的库为机器学习、Graphx和Spark Streaming，并且支持在一个程序中无缝的混合使用。

Spark可以在Hadoop、Mesos、Standalone和cloud上运行，数据存储在HDFS、Cassandra、HBase、Hive以及任何Hadoop数据源。另外，其可以在EC2、Hadoop YARN和Mesos上以单节点的模式运行。

       

摘自：http://spark.apache.org/