z425955498的博客

spark历史：伯克利实验室研究项目，基于Hadoop的Mapreduce机制，引入内存管理机制，提高了迭代式计算和交互式中的效率。spark组件：spark core:spark基本功能，包括任务调度，内存管理，容错机制内部定义了RDDs(弹性分布式数据集),提供多个APIs调用，为其他组件提供底层服务spark sql:spark处理结构化数据的库，类似Hive SQL,MySql，

1. Spark是Scala写的，在jvm上运行，运行环境java7+ spark 1.6.2 对应 scala 2.10 对应 sbt(打包工具) 0.13. 8 spark 2.0 对应 scala 2.112. 下载地址 spark http://spark.apache.org/downloads.html (下载时会自动匹配hadoop版本