扳掘de博客

一、概述 关于Spark是什么、为什么学习Spark等等，在这就不说了，直接看这个：http://spark.apache.org，我就直接说一下Spark的一些优势： 1、快 与Hadoop的MapReduce相比，Spark基于内存的运算要快100倍以上，基于硬盘的运算也要快10倍以上。Spark实现了高效的DAG执行引擎，可以通过基于内存来高效处理数据流。

cache()与persist()的区别会被重复使用的但是不能太大的RDD需要cache, cache()调用了persist(),区别在于cache只有一个默认的缓存级别MEMORY_ONLY,而persist可以根据情况设置其它的缓存级别,StorageLevel类中有12种缓存级别.cache 与 checkpoint 的区别关于这个问题 Tathagata Das 有一段回答: There