Resilient Distributed Dataset的一些小回顾

最新推荐文章于 2024-01-30 14:22:46 发布

激进的兔子

最新推荐文章于 2024-01-30 14:22:46 发布

阅读量332

点赞数 1

CC 4.0 BY-SA版权

分类专栏： RDD基础知识文章标签： RDD Spark基础回顾

本文链接：https://blog.youkuaiyun.com/weixin_42749930/article/details/83539824

RDD基础知识专栏收录该内容

1 篇文章

订阅专栏

本文详细介绍了Spark中的核心概念——弹性分布式数据集（RDD）,包括其基本特性、计算模式、属性、算子操作及特点。阐述了RDD的存储弹性、容错弹性、计算弹性及分片弹性，以及如何通过缓存和checkpoint机制提高数据处理效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

					Resilient Distributed Dataset

理解什么是RDD

RDD:弹性分布式数据集,RDD其实就是分布式的元素集合,是一个不可变的分布式对象集合
引用自Spark快速大数据分析-P21

惰性计算模式

Spark采用的是惰性计算模式,RDD只有第一次在行动操作中用到的时候,才会真正的计算.Spark可以优化整个
计算过程.默认情况下,Spark的RDD会在你每次对它们进行行动操作时重新计算.如果想要在多个行动操作中重
用同一个RDD,可以使用 RDD.persist() 让Spark把这个RDD缓存下来;

RDD的属性

A list of partitions
A function for computing each split
A list of dependencies on other RDDs
Optionally, a Partitioner for key-value RDDs (e.g. to say that the RDD is hash-partitioned)
Optionally, a list of preferred locations to compute each split on (e.g. block locations for an HDFS file)

 一组分片（Partition），即数据集的基本组成单位。对于RDD来说，每个分片都会被一个计算任务处理，并决定并行计算的粒度。用户可以在创建RDD时指定RDD的分片个数，如果没有指定，那么就会采用默认值。默认值就是程序所分配到的CPU Core的数目;

 一个计算每个分区的函数。Spark中RDD的计算是以分片为单位的，每个RDD都会实现compute函数以达到这个目的。compute函数会对迭代器进行复合，不需要保存每次计算的结果;

 RDD之间的依赖关系。RDD的每次转换都会生成一个新的RDD，所以RDD之间就会形成类似于流水线一样的前后依赖关系。在部分分区数据丢失时，Spark可以通过这个依赖关系重新计算丢失的分区数据，而不是对RDD的所有分区进行重新计算;

 一个Partitioner，即RDD的分片函数。当前Spark中实现了两种类型的分片函数，一个是基于哈希的HashPartitioner，另外一个是基于范围的RangePartitioner。只有对于于key-value的RDD，才会有Partitioner，非key-value的RDD的Parititioner的值是None。Partitioner函数不但决定了RDD本身的分片数量，也决定了parent RDD Shuffle输出时的分片数量;

 一个列表，存储存取每个Partition的优先位置（preferred location）。对于一个HDFS文件来 说，这个列表保存的就是每个Partition所在的块的位置。按照“移动数据不如移动计算”的理念，Spark在进行任务调度的时候，会尽可能地将计算任务分配到其所要处理数据块的存储位置

RDD弹性

存储弹性:内存与磁盘的自动切换
容错弹性:数据丢失可以自动回复
计算弹性:计算出错重试机制
分片弹性:根据需要重新分片

RDD算子操作

RDD有输入算子、变换算子、缓存算子、行动算子;
RDD支持两种操作:转换操作和行动操作;
在这里插入图片描述

RDD的特点

只读

RDD是只读的,想要操作RDD,要对现有的RDD创建新的RDD才可以

依赖

RDD通过操作算子进行转换,转换得到新的RDD包含了从其他RDD衍生所必须的信息,RDD之间维护着这种血缘关系,也称为依赖.依赖包含两种一种是窄依赖:RDD之间分区是一一对应的,另一种是宽依赖,下游RDD的每个分区与上游RDD的每个分区都有关,是多对多的关系

缓存

如果在应用程序中多次使用同一个RDD,可以将该RDD缓存起来,该RDD只有在第一次计算的时候会根据血缘关系得到分区的数据,在后续其他地方用到该RDD的时候,会直接从缓存处取而不用再根据血缘关系计算,这样加速后期的重用;

checkpoint

虽然RDD的血缘关系可以自动容错,但是对于长时间迭代型应用程序来说,随着迭代的进行,RDD之间的血缘关系越来越长,一旦后续迭代出错,需要通过非常长的血缘关系去重建,势必影响性能.为此RDD支持checkpoint将数据保存到持久化的存储中,这样就可以切断之前的血缘关系,因为checkpoint后的RDD不需要直到它的父RDD了,它可以从checkpoint处拿到数据;