Spark Rdd

Spark 计算框架为了能够进行高并发和高吞吐的数据处理，封装了三大数据结构，用于 处理不同的应用场景。三大数据结构分别是:
➢ RDD : 弹性分布式数据集
➢ 累加器:分布式共享只写变量
➢ 广播变量:分布式共享只读变量

什么是Rdd？

RDD(Resilient Distributed Dataset)叫做弹性分布式数据集，是 Spark 中最基本的数据

处理模型。代码中是一个抽象类，它代表一个弹性的、不可变、可分区、里面的元素可并行 计算的集合。

• ➢  弹性

•      存储的弹性:内存与磁盘的自动切换;

•      容错的弹性:数据丢失可以自动恢复;

•      计算的弹性:计算出错重试机制;

•     分片的弹性:可根据需要重新分片。

• 分布式:数据存储在大数据集群不同节点上

• ➢  数据集:RDD封装了计算逻辑，并不保存数据

• ➢  数据抽象:RDD是一个抽象类，需要子类具体实现

• ➢  不可变:RDD封装了计算逻辑，是不可以改变的，想要改变，只能产生新的RDD，在

  新的 RDD 里面封装计算逻辑

• ➢  可分区、并行计算  

 

核心属性 

Internally, each RDD is characterized by five main properties:
A list of partitions
A function for computing each split
A list of dependencies on other RDDs
Optionally, a Partitioner for key-value RDDs (e.g. to say that the RDD is hash-partitioned)
Optionally, a list of preferred locations to compute each split on (e.g. block locations for an HDFS file)

➢ 分区列表
RDD 数据结构中存在分区列表，用于执行任务时并行计算，是实现分布式计算的重要属性

创建Rdd的时候可以指定分区，如果不指定，如读取hdfs文件，默认是block个数

  /**
   * Implemented by subclasses to return the set of partitions in this RDD. This method will only
   * be called once, so it is safe to implement a time-consuming computation in it.
   *
   * The partitions in this array must satisfy the following property:
   *   `rdd.partitions.zipWithIndex.forall { case (partition, index) => partition.index == index }`
   */
  protected def getPartitions: Array[Partition]

➢ 分区计算函数
Spark 在计算时，是使用分区函数对每一个分区进行计算

数据分发到每个分区，每个分区都会进行compute计算

  /**
   * :: DeveloperApi ::
   * Implemented by subclasses to compute a given partition.
   */
  @DeveloperApi
  def compute(split: Partition, context: TaskContext): Iterator[T]

 

➢ RDD之间的依赖关系
RDD 是计算模型的封装，当需求中需要将多个计算模型进行组合时，就需要将多个 RDD 建 立依赖关系

rdd每次转换后都会形成新的rdd，形成前后的rdd之间的依赖关系，如果某个rdd数据丢失，会从最近的依赖关系从新获取数据

  /**
   * :: DeveloperApi ::
   * Implemented by subclasses to compute a given partition.
   */
  @DeveloperApi
  def compute(split: Partition, context: TaskContext): Iterator[T]

 

➢ 分区器(可选)
当数据为 KV 类型数据时，可以通过设定分区器自定义数据的分区

spark的有两种分区函数，一种基于哈希的hashPartition，一种是基于范围的rangerPartition，（k，v）形式的rdd才有分区，非（k，v）的默认为none，分区数决定了rdd shffer输出的分区数量

  /**
   * Optionally overridden by subclasses to specify placement preferences.
   */
  protected def getPreferredLocations(split: Partition): Seq[String] = Nil

 

➢ 首选位置(可选)

计算数据时，可以根据计算节点的状态选择不同的节点位置进行计算

  /**
   * Optionally overridden by subclasses to specify placement preferences.
   */
  protected def getPreferredLocations(split: Partition): Seq[String] = Nil