01--浅析RDD

  • 1.1什么是RDD

RDD(Resilient Distributed Dataset)叫做弹性分布式数据集,是Spark中最基本的数据(计算)抽象。代码中是一个抽象类,它代表一个不可变、可分区、里面的元素可并行计算的集合

  • 1.2 RDD的属性
    在这里插入图片描述
  1. 一组分区(Partition),即数据集的基本组成单位;
  2. 一个计算每个分区的函数;
  3. RDD之间的依赖关系;
  4. 一个Partitioner,即RDD的分片函数;
  5. 一个列表,存储存取每个Partition的优先位置(preferred location)。
  • 1.3 RDD特点
    RDD表示只读的分区的数据集,对RDD进行改动,只能通过RDD的转换操作,由一个RDD得到一个新的RDD,新的RDD包含了从其他RDD衍生所必需的信息。RDDs之间存在依赖,RDD的执行是按照血缘关系延时计算的。如果血缘关系较长,可以通过持久化RDD来切断血缘关系。

  • 分区
    RDD逻辑上是分区的,每个分区的数据是抽象存在的,计算的时候会通过一个compute函数得到每个分区的数据。如果RDD是通过已有的文件系统构建,则compute函数是读取指定文件系统中的数据,如果RDD是通过其他RDD转换而来,则compute函数是执行转换逻辑将其他RDD的数据进行转换。
    在这里插入图片描述

  • 只读
    如下图所示,RDD是只读的,要想改变RDD中的数据,只能在现有的RDD基础上创建新的RDD。
    在这里插入图片描述
    由一个RDD转换到另一个RDD,可以通过丰富的操作算子实现,不再像MapReduce那样只能写map和reduce了,如下图所示。
    在这里插入图片描述
    RDD的操作算子包括两类,一类叫做transformations,它是用来将RDD进行转化,构建RDD的血缘关系;另一类叫做actions,它是用来触发RDD的计算,得到RDD的相关计算结果或者将RDD保存的文件系统中。

  • 依赖
    RDDs通过操作算子进行转换,转换得到的新RDD包含了从其他RDDs衍生所必需的信息,RDDs之间维护着这种血缘关系,也称之为依赖。如下图所示,依赖包括两种,一种是窄依赖,RDDs之间分区是一一对应的,另一种是宽依赖,下游RDD的每个分区与上游RDD(也称之为父RDD)的每个分区都有关,是多对多的关系。
    在这里插入图片描述

  • 缓存
    如果在应用程序中多次使用同一个RDD,可以将该RDD缓存起来,该RDD只有在第一次计算的时候会根据血缘关系得到分区的数据,在后续其他地方用到该RDD的时候,会直接从缓存处取而不用再根据血缘关系计算,这样就加速后期的重用。如下图所示,RDD-1经过一系列的转换后得到RDD-n并保存到hdfs,RDD-1在这一过程中会有个中间结果,如果将其缓存到内存,那么在随后的RDD-1转换到RDD-m这一过程中,就不会计算其之前的RDD-0了。
    **加粗样式**

  • CheckPoint
    虽然RDD的血缘关系天然地可以实现容错,当RDD的某个分区数据失败或丢失,可以通过血缘关系重建。但是对于长时间迭代型应用来说,随着迭代的进行,RDDs之间的血缘关系会越来越长,一旦在后续迭代过程中出错,则需要通过非常长的血缘关系去重建,势必影响性能。为此,RDD支持checkpoint将数据保存到持久化的存储中,这样就可以切断之前的血缘关系,因为checkpoint后的RDD不需要知道它的父RDDs了,它可以从checkpoint处拿到数据。

SparkSQL的执行流程可以简单概括为以下几个步骤: 1. 初始化SparkSession:首先需要初始化一个SparkSession对象,可以通过builder()方法进行设置,包括设置应用程序名称、master等参数。 2. 创建数据表并读取数据:使用SparkSession的read方法读取数据,可以从各种数据源读取,如JSON、CSV等,并将读取的数据创建为一个临时表,可以使用createOrReplaceTempView方法。 3. 执行SQL查询:使用spark.sql方法执行SQL查询语句,可以对临时表进行各种查询操作,如选择、过滤、聚合等,并使用show方法展示查询结果。 4. 生成执行计划:SparkSQL的核心是Catalyst,它负责解析SQL语句并生成执行计划。在执行计划生成的过程中,会进行一系列的优化工作,包括子查询生成、根据需求插入Shuffle操作、合并代码生成阶段、重复使用Shuffle数据和子查询结果等。 5. 准备执行计划:在正式执行物理计划之前,还需要对执行计划进行进一步的优化工作。这一步骤主要是使用一系列预定义的优化规则对SparkPlan进行优化处理,包括生成子查询、确保满足需求、合并代码生成阶段和重复使用Shuffle数据和子查询结果等。 6. 执行物理计划:最后,执行准备好的物理计划,即执行RDD操作,对数据进行实际的处理和计算。 总结起来,SparkSQL的执行流程包括初始化SparkSession、创建数据表并读取数据、执行SQL查询、生成执行计划、准备执行计划和执行物理计划。这个流程中,Catalyst扮演着关键的角色,负责SQL语句的解析和执行计划的生成。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [SparkSQL运行流程浅析](https://blog.youkuaiyun.com/zc19921215/article/details/119155403)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] - *2* [【SparkSpark SQL 执行全过程概述](https://blog.youkuaiyun.com/weixin_45545090/article/details/125038204)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值