spark之RDD(1)

Rdd概述:rdd是spark中弹性分布式数据集,不可变可分区其中元素可以并行计算的集合
特性:
1. A list of partitions
rdd最小划分在每个分区中一般hdfs中未指定以block数量作为分区数量
2. A function for computing each split
Spark中RDD的计算是以分区为单位的，每个RDD都会实现compute函数以达到这个目的
3. A list of dependencies on other RDDs
一个RDD会依赖于其他多个RDD，RDD之间的依赖关系Spark可以通过这个依赖关系重新计算丢失的分区数据,这也是spark容错性的由来
4. Optionally, a Partitioner for key-value RDDs (e.g. to say that the RDD is hash-partitioned)
当前Spark中实现了两种类型的分区函数，一个是基于哈希的HashPartitioner，另外一 个是基于范围的RangePartitioner。只有对于key-value的RDD，才会有Partitioner，非key-value的RDD的Parititioner的值是None。Partitioner函数决定了parent RDD Shuffle输出时的分区数量
5. Optionally, a list of preferred locations to compute each split on (e.g. block locations for an HDFS file)
Spark在进行任务调度的时候，会尽可能地将计算任务分配到其所要处理数据块的存储位置数据本地性和数据最优
RDD的创建方式

• 1、通过sparkContext调用parallelize方法，需要一个已经存在scala集合
  
  • val rdd1=sc.parallelize(集合或者数组)
• 2、通过读取文件系统中数据
  
  • val rdd2=sc.textFile(“文件路径”)
• 3、通过已经存在的RDD经过算子转换生成新的RDD
  
  • val rdd3=rdd2.flatMap(_.split(” “))

RDD算子分类

• transformation(转换)
  
  • 一个rdd转换生成新的rdd，它是一个懒加载，并不会触发任务的真正运行，只是记录下作用在rdd上的一系列转换行为。
• action(动作)
  
  • 它是一个动作，它会触发整个任务真正运行