spark个人理解

spark是什么？

spark算是一个计算框架，可以对大量的数据进行一些操作，前提是将这些数据先转换为RDD，然后主要操作分为两种（transformation和action），transformation主要是将当前RDD转换为另外一种RDD，而action最终会返回结果，类似于获取总数一样。spark的所有操作都是基于RDD进行操作的。

spark和hadoop的mapreduce相比的优势在于，计算速度快，速度快的原因是，每次spark将计算的中间结果保存在内存中，而mapreduce的中间结果数据会写到磁盘中，因此每次从磁盘取，这就会影响速度。