RDD初探



RDD初探

@20150422

 

RDD（resilient distributed dataset ）是Spark提出的一个创新性的概念，它提供了并行计算个阶段中数据的有效共享，弥补了MapReduce中的不足。与MapReduce单乏的Map和Reduce相比，在RDD上，Spark提供了丰富的操作，可以让程序开发人员利用RDD接口非常容易的编写出复杂的数据处理程序，先见见Spark版本的WordCount程序：

 

仅仅两行代码，相比MapReduce，是不是简洁了很多？

 

 

官网RDD的定义：

Spark revolves around the concept of a resilient distributed dataset (RDD), which is a fault-tolerant collection of elements that can be operated on in parallel. There are two ways to create RDDs: parallelizing an existing collection in your driver program, or referencing a dataset in an external storage system, such as a shared filesystem, HDFS, HBase, or any data source offering a Hadoop InputFormat.

 

RDD的特性：

1. 分区的数据集

2. 只读的数据集

3. 只能从driver程序中已有的集合或外部存储进行创建

4. 容错的，失败自动的快速重建

 

分区

分区，RDD是一个分区的数据集，其分区的多少决定着对这个RDD进行并行计算的粒度，在Spark中，每一个分区的计算在一个单独的任务中执行。对RDD的分区而言，用户可以指定其分区的数目；如果没有，系统将会使用默认值，默认情况下，其分区数为这个程序所分配到的资源的CPU核的数目；如，

指定分区数:

 

默认分区数：

 

 

位置优先

在Spark中，秉性着这么一种思想，“移动数据不如移动计算”，在Spark任务调度的时候，总是尽可能的将任务分配到数据块存储的位置。如，对HDFS文件生成的RDD，preferredLocation接口返回其每块数据所在的机器名或IP，在后续的任务调度中，调度器将尽可能的将计算任务分配到数据存储的位置，如：

 

 

RDD依赖关系

可以说，RDD依赖关系是Spark任务调度最根本的依据。

在RDD的转换过程中，每次转换都会生成一个新的RDD，在用户程序中，对于某个RDD往往会有一系列的复杂的转换，这样，就形成了一条类似流水线样的前后依赖关系。

在Spark中，存在两种类型的依赖，即窄依赖和宽依赖；

l 窄依赖：父RDD的每一个分区只被子RDD的一个分区所使用，如：map、filter等；

l 宽依赖：父RDD的每一个分区只被子RDD的多个分区所使用，如：groupbyKey等；

 

区分两种依赖的原因：

1. 窄依赖可以在集群的一个节点上如流水一般的执行，无需物化很多无用的中间RDD，大大提升了计算性能；

2. 窄依赖对于节点计算失败后的恢复会更加有效，只要重新计算其对应父RDD的相应分区即可；

 

 

RDD操作

RDD支持两种操作

l Transformations：从一个已存的RDD生成一个新的RDD，如map操作

l Action：执行一次计算并将相应的计算结果返回值driver程序，如reduce

 

在Spark中，所有的Transformation都是惰性的，他们只会记录其相应的依赖关系，而不会马上计算其结果，只有在action要求计算结果时才会实际计算RDD的值。

Spark提供了丰富的RDD操作，详细参考http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.rdd.RDD

 

RDD的持久化

在Spark中，还有一个最重要的特性就是RDD的持久化。当你对一个RDD进行持久化操作时，spark会将该RDD的每个分区的第一次计算结果保存在相应的存储介质中。之后对该RDD的访问可以直接访问其存储的结果，这样我们可以将一些访问比较频繁的RDD进行持久化到内存中来，加快程序的处理时间（官网提供的数据时通常会加快速度10倍以上）

RDD的持久化通过persist() 和 cache() 方法实现；