spark学习（二）RDD和DAG

一、sparkRDD概念

RDD（Resilient Distributed Dataset）叫做弹性分布式数据集,是spark中最基本也是最重要的概念之一。它是spark中一种基本的数据抽象，有容错机制并可以被并行操作的元素集合，具有只读、分区、容错、高效、无需物化、可以缓存、RDD依赖等特征。RDD的知识较为庞杂，这里只能按我了解的做一些简单介绍。

二、一些基本的熟悉和概念

1、partition

一份待处理的原始数据会被按照相应的逻辑(例如jdbc和hdfs的split逻辑)切分成n份，每份数据对应到RDD中的一个Partition，Partition的数量决定了task的数量（一个partition对应一个task），影响着程序的并行度。一个RDD是有n个partition组成。

2、operater算子

算子是spark中对一些数据处理的常用操作的抽象，spark算子分为两类：transform和action

transform算子是一种延迟性操作，也就是把一个RDD转换成另外一个RDD而不是马上执行，不会提交job。常用的有：map，flatmap，join，groupBykey等。

action算子会对RDD 计算出一个结果，并把结果返回到驱动器程序中，或把结果存储到外部存储系统（如 HDFS）中。每有一个action便会提交一个job。常用的有reduce，collect，count，take等。

3、lineage和cache缓存机制

lineage叫做逻辑执行计划，通过DAG（有向无环图）对RDD间关系的建模，描述RDD间的依赖关系，但是我比较喜欢它的另一种说法：血统。在transform操作时会从一个RDD转化为另一个RDD，多个连续的transform算子的话就会多次转化，可以理解成一种进化的过程，一个最原始的RDD经过多个transform算子最终转化为一个较为成熟的RDD，然后通过action算子计算出结果。DAG下面还会重点介绍

但是考虑一个问题，加入我在一系列转化的中间步骤出了错该怎么办，因为spark是基于内存计