Spark学习笔记：使用RDD

一、Spark概述

（一）Spark来源

• 问题：有了Hadoop为什么还要Spark？
• 回答：Hadoop最初设计时，shuffle的过程中数据要频繁落地到磁盘中，会大大影响性能，这在最初硬件相对昂贵，内存十分宝贵时，是一种可以理解的选择。但是随着数据量越来越大，处理的流程越来越复杂，hadoop shuflle过程中因为数据落磁盘而造成性能的低下越来越让人无法容忍，特别是，当需要连续多次mr才能完成计算时，每一次的mr都经过shuffle数据落地，性能低下的缺点就格外的明显。所以才有了最初spark设计的目的 —— 完全基于内存进行计算，数据尽量不落地，提高效率，虽然占用能存很高，但是效率同样得到了大大的提升，可以达到hadoop的10~100倍。这在硬件逐渐廉价而数据量越来越大的情况下优势越来越明显。

（二）Spark特点

• 用Scala编写，底层是基于actor模式的akka框架，代码结构简洁。

• 基于DAG（有向无环图）的执行引擎，减少了计算时数据频繁读写到磁盘的开销。
  – DAG有向无环图 ： Spark设计之处就考虑了大量连续计算的需求，允许在对数据处理时，经由许多步算子按序计算来实现处理，这些处理是一个图的结构，但是要注意的是，图有向但是不能形成环，防止死循环，这样的有向无环的处理过程，就称之为Spark的DAG有向无环图。

• 建立在RDD（弹性分布式数据集）之上，可以以一致的