spark RDD 五大特性

最新推荐文章于 2025-05-22 10:42:02 发布

qq68438

最新推荐文章于 2025-05-22 10:42:02 发布

阅读量2.4k

点赞数

CC 4.0 BY-SA版权

分类专栏： spark

本文链接：https://blog.youkuaiyun.com/qq68438/article/details/76647910

spark 专栏收录该内容

2 篇文章

订阅专栏

Spark的RDD（弹性分布式数据集）具有五大特性：1) 数据可分片，支持并行操作；2) 每个分片有compute函数进行计算；3) 存在对其他RDD的依赖关系，分为宽依赖和窄依赖；4) key-value型RDD通过哈希分区，类似MapReduce的Paritioner接口；这些特性使得RDD成为高效并行计算的基础。

1、有一个分片列表，能够被切分，就是和Hadoop一样，能被切分的数据才能并行操作。
2、有一个函数计算每一个分片，compute函数。
3、对其他的RDD的依赖列表，依赖又分为宽依赖和窄依赖，但不是所有的RDD都有依赖。
4、可选，key-value型的RDD是根据哈希来分区的，类似于mapreduce的Paritioner接口，控制key分配到哪个reduce.

5、可选：每一个分片的优先计算位置（preferred locations），比如HDFS的block的所在位置应该是优先计算的位置。

对应着上面这几点，我们在RDD里面能找到这4个方法和1个属性，别着急，下面我们会慢慢展开说这5个东东。

//只计算一次  
  protected def getPartitions: Array[Partition]  
  //对一个分片进行计算，得出一个可遍历的结果
  def compute(split: Partition, context: TaskContext): Iterator[T]
  //只计算一次，计算RDD对父RDD的依赖
  protected def getDependencies: Seq[Dependency[_]] = deps
  //可选的，分区的方法，针对第4点，类似于mapreduce当中的Paritioner接口，控制key分到哪个reduce
  @transient val partitioner: Option[Partitioner] = None
  //可选的，指定优先位置，输入参数是split分片，输出结果是一组优先的节点位置
  protected def getPreferredLocations(split: Partition): Seq[String] = Nil