RDD的运行原理

最新推荐文章于 2022-06-14 00:05:10 发布
原创 最新推荐文章于 2022-06-14 00:05:10 发布 · 590 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#RDD #运行原理

RDD的执行过程
（1）RDD读入外部数据源进行创建
（2）RDD经过一系列的转化（Transformation）操作，每一次会产生不同的RDD，供给下一个转化操作使用
（3）最后一个RDD经过”动作“操作进行转化，并输出到外部数据源
这一系列的操作称为一个Lineage（血缘关系），即DAG拓扑排序的结果
优点：
惰性调用，管道化，避免同步等待，不需要保存中间的结果，每次操作简单
在这里插入图片描述

一、RDD的设计与运行原理
qq_27924553的博客
02-23 947
1、RDD的背景 （1）MapReduce - 将中间结果写入到HDFS中 目前MapReduce框架都是把中间结果写入到HDFS中，带来了大量的数据复制、磁盘IO和序列化开销。 （2）RDD - 数据操作管道化 RDD将具体的应用逻辑表达为一系列转换处理，不同RDD之间的转换操作形成依赖关系，可以实现数据管道化，避免中间存储的结果，大大降低了数据复制、磁盘IO和序列化开销。 2、RDD概念 一个可并行操作的有容错机制的数据集合，本质上是一个只读的分区记录。 （1）每个RDD可以被分为多个分区； （2）每
Spark RDD的设计与运行原理
日常分享数据分析开发、编程语言内容
03-10 871
Spark RDD的设计与运行原理
RDD运行原理
abcdrachel的博客
04-23 1952
RDD产生的原因 在之前的机器学习里以及交互式挖掘等经常会涉及很多迭代式计算，这些迭代计算会涉及到一个中间结果计算的重用问题，MapReduce是把中间结果写入到磁盘里面，下次要使用的时候再从磁盘里读取中间结果，这样就会带来大量化的磁盘读写开销以及序列化与反序列化的开销。这里说的序列化是指将内存中的java对象进行转换为存储或传输的格式，比如说可以将java对象序列化为二进制对象...
spark学习3：RDD运行原理
hzp666的博客
05-11 1216
1.RDD设计背景 为了解决 MapReduce的 频繁磁盘IO开销， 序列化和反序列化的开销，因为从磁盘读取数据转换为对象 需要反序列化， 在对象落磁盘时候 需要序列化
RDD原理
夜下探戈
04-25 2031
RDD概念 RDD的内部属性 一组分片（Partition），即数据集的基本组成单位 计算每个分片的函数 RDD之间的依赖关系 一个Partitioner，即RDD的分片函数 分区列表，存储存取每个Partition的优先位置（preferred location） 可选属性 可选属性 RDD的特点 RDD的优点 RDD的存储与分区 RDD的容错机制 Spark计算工作流 RDD编程模型...
05-SparkRDD原理和编程接口
PenguinLittle的博客
03-18 862
1.弹性分布式数据集RDD 1.1.RDD概述 1.1.1.什么是RDD RDD（Resilient Distributed DataSet）弹性分布式数据集。是spark中最基本的数据抽象，是一个不可变的、可分区的、可并行计算的集合。 Resilient：数据可以选择性的存储在内存中，或者磁盘中 Distributed：分布式存储、分布式计算 DataSet：用于存放数据的数据集合 1.1.2.RDD的属性 A list of partitions：分区列表，数据集基本组成单位 说明：每个分区对应一个
【Spark】RDD的设计和运行原理
兰陵鸡王的博客
03-20 2542
Spark的核心是建立在统一的抽象RDD之上，使得Spark的各个组件可以无缝进行集成，在同一个应用程序中完成大数据计算任务。 RDD设计背景 在实际应用中，存在许多迭代式算法（比如机器学习、图算法等）和交互式数据挖掘工具，这些应用场景的共同之处是，不同计算阶段之间会重用中间结果，即一个阶段的输出结果会作为下一个阶段的输入。 但是，目前的MapReduce框架都是把中间结果写入到HDFS中，带来了...
精选资源
10 实战解析spark运行原理和RDD解密
04-13
"Spark 运行原理和 RDD 解密" Spark 是一个分布式计算框架，基于内存和磁盘，特别适合于迭代计算。Spark 的运行原理可以分为两大部分：Driver 端和 Executor 端。Driver 端负责提交任务，Executor 端负责执行任务...
RDD运行原理------学习笔记
PeixinYe的博客
03-23 1701
RDD实现管道化，避免中间数据存储；RDD：是一个分布式对象集合，本质上是一个只读的分区记录集合，每个RDD可分成多个分区，每个分区就是一个数据集片段，并且一个RDD的不同分区可以被保存到集群中不同的节点上，从而可以在集群中的不同节点上进行并行计算；转换（Transformation）：map、join、groupby、filter等；粗粒度修改；不适合网页爬虫；实际上RDD已经被实践证明可以高效...
Spark RDD运行原理
pre_tender的博客
10-04 1707
文章目录概述1. 涉及背景2. RDD概念2.1 RDD相关简介2.2 RDD典型执行过程3. RDD 特性4. RDD之间的依赖关系4.1 RDD依赖关系之Shuffle操作4.2 RDD依赖关系之宽依赖和窄依赖5.2 Stage划分策略5.3 Stage划分示例6. RDD运行过程 概述 本文主要介绍Saprk中重要的概念-----RDD 1. 涉及背景 许多迭代式算法（比如机器学习、图算法...
[ Spark ] RDD核心概念,工作原理
jason_bone_的博客
06-14 890
​ Spark计算框架为了能够对数据进行高并发和高吞吐的处理，封装了三大数据结构，用于处理不同的应用场景。三大数据结构分别是：1)RDD : 弹性分布式数据集2)累加器：分布式共享只写变量3)广播变量：分布式共享只读变量ps:数据结构:简单理解为 数据与逻辑的组织形式和存储方式1.RDD定义?​ RDD（Resilient Distributed Dataset）为弹性分布式数据集，是Spark中最基本的数据处理模型。代码中是一个抽象类(子类多,使用装饰者模式扩充功能)，它代表一个弹性的、不可变、可分区
RDD工作原理详解
04-09 2862
一、Spark概念总结简要说明： 每个Spark应用都由一个驱动器程序(driver program)来发起集群上的各种 并行操作。 驱动器程序包含应用的 main 函数， 并且定义了集群上的分布式数据集，还对这 些分布式数据集应用了相关操作。 驱动器程序通过一个 SparkContext 对象来访问 Spark。这个对象代表对计算集群的 一个连 接。shell 启动时已经自动创建了一个 Spar...
RDD 运行原理（二）
Stay Focused And Work Hard !!!
06-23 4010
在学习Spark 之前笔者是先大致了解Spark的一些基本概念，以及在各种网站进行浏览一般，在大致对Spark整体知识有了一定的了解后再进行比较系统的学习与了解。在了解的过程中发现学习Spark前对RDD原理的理解是比较重要的，因而笔者是先了解RDD 相关原理然后再进行相应的学习。一.设计背景许多迭代式算法（比如机器学习、图算法等）和交互式数据挖掘工具，共同之处是，不同计算阶段之间会重用中间结果。
RDD原理与基本操作 | Spark，从入门到精通
大数据Spark教程
12-04 672
欢迎阅读美图数据技术团队的「Spark，从入门到精通」系列文章，本系列文章将由浅入深为大家介绍 Spark，从框架入门到底层架构的实现，相信总有一种姿势适合你，欢迎大家持续关注：） / 什么是 RDD？ / 传统的 MapReduce 虽然具有自动容错、平衡负载和可拓展性的优点，但是其最大缺点是在迭代计算式的时候，要进行大量的磁盘 IO 操作，而 RDD 正是解决这一缺点的抽象方法。RDD（R...
RDD持久化，不使用RDD持久化的问题的工作原理
weixin_34292959的博客
09-07 149
一、RDD持久化原理 二、不使用RDD持久化的问题原理
Spark 入门之二：Spark RDD详解
不积跬步，无以至千里；不积小流，无以成江海！
11-07 4381
RDD是什么  RDD：Spark的核心概念是RDD (resilientdistributed dataset)，指的是一个只读的，可分区的分布式数据集，这个数据集的全部或部分可以缓存在内存中，在多次计算间重用。  为什么会产生RDD 传统的MapReduce虽然具有自动容错、平衡负载和可拓展性的优点，但是其最大缺点是采用非循环式的数据流模型，使得在迭代计算式要进行大量的磁盘IO操
Spark学习笔记：三、RDD原理
松坡的机器学习笔记
06-16 1152
一、RDD原理： 一个RDD就是一个分布式对象集合，本质上是一个只读的分区记录集合，每个RDD可以分成多个分区，每个分区就是一个数据集片段，并且一个RDD的不同分区可以被保存到集群中不同的节点上，从而可以在集群中的不同节点上进行并行计算。 RDD提供了一组丰富的操作以支持常见的数据运算，分为“行动”（Action）和“转换”（Transformation）两种类型，前者用于执行计算并指定输出的...
DAG RDD 实现原理
最新发布
11-24
<think> 我们讨论的是DAG（有向无环图）RDD（弹性分布式数据集）的实现原理，这通常出现在Apache Spark中。 DAG RDD是Spark的核心概念之一，它代表了Spark中对数据的抽象和计算流程的表示。 在Spark中，RDD是不可变的分布式对象集合，每个RDD被分为多个分区，这些分区运行在集群的不同节点上。 RDD支持两种操作：转换（transformations）和行动（actions）。转换操作会从一个RDD生成一个新的RDD，行动操作则会对RDD执行计算并返回结果给驱动程序。 DAG（有向无环图）是Spark用来表示RDD之间依赖关系（lineage）的图。每个RDD都会记录其父RDD的依赖关系，这种依赖关系分为两种： 1. 窄依赖（Narrow Dependencies）：父RDD的每个分区最多被子RDD的一个分区所使用（例如map、filter操作）。 2. 宽依赖（Wide Dependencies）：父RDD的一个分区被子RDD的多个分区所使用（例如groupByKey、reduceByKey操作）。 当用户执行一个行动操作（如count、collect）时，Spark会根据RDD的依赖关系构建一个DAG，然后将这个DAG提交给DAGScheduler。 DAGScheduler会将DAG划分为多个阶段（stage），每个阶段由一系列连续的窄依赖转换组成，阶段之间的边界是宽依赖（因为宽依赖需要shuffle）。 然后，每个阶段会被转换成一组任务（task），这些任务由TaskScheduler分发到集群的各个节点上执行。 实现原理的关键点： - RDD的依赖关系：每个RDD都记录了自己是如何从其他RDD转换而来的（即其依赖的父RDD），以及依赖的类型（窄依赖或宽依赖）。 - DAG的构建：当行动操作被调用时，Spark会从最终的RDD回溯，根据依赖关系构建DAG。 - 阶段的划分：DAGScheduler从后往前遍历DAG，遇到宽依赖就划分出一个新的阶段。这样，每个阶段内部都是窄依赖，可以流水线执行；阶段之间则需要进行shuffle。 - 任务的生成：每个阶段会生成多个任务，任务的数量由该阶段中最后一个RDD的分区数决定。这些任务会被打包成TaskSet，提交给集群执行。 下面是一个简单的代码示例，用于说明RDD的依赖关系以及DAG的生成过程（注意：实际Spark源码非常复杂，这里只是简化示意）： </think> ### DAG RDD 实现原理详解 在 Spark 中，**DAG RDD（有向无环图弹性分布式数据集）** 是实现分布式计算的核心抽象。其原理可分为以下关键部分： --- #### 1. **DAG 的构建与调度流程** 当执行 RDD 的转换操作时，Spark 会记录 RDD 的血统关系（Lineage），最终构建 DAG。DAGScheduler 负责将 DAG 划分为多个 Stage，每个 Stage 包含多个 Task。 **关键阶段**： - **窄依赖（Narrow Dependency）**：子 RDD 的每个分区只依赖父 RDD 的一个分区（如 `map`、`filter`）。 - **宽依赖（Wide Dependency）**：子 RDD 的分区依赖父 RDD 的多个分区（如 `groupByKey`），触发 Stage 划分。 --- #### 2. **RDD 的核心属性** 每个 RDD 包含以下关键属性： ```scala abstract class RDD[T] { protected def compute(split: Partition, context: TaskContext): Iterator[T] // 计算函数 protected def getPartitions: Array[Partition] // 分区列表 protected def getDependencies: Seq[Dependency[_]] // 依赖关系 val partitioner: Option[Partitioner] // 分区器（决定数据分布） } ``` --- #### 3. **RDD 依赖关系实现** 依赖关系分为两类： ```scala // 窄依赖（父分区 -> 子分区的一对一映射） class OneToOneDependency[T](rdd: RDD[T]) extends NarrowDependency[T](rdd) // 宽依赖（Shuffle 依赖） class ShuffleDependency[K, V, C]( @transient private val _rdd: RDD[_ <: Product2[K, V]], val partitioner: Partitioner ) extends Dependency[Product2[K, V]] ``` --- #### 4. **DAG 调度的伪代码实现** ```scala class DAGScheduler { def submitJob(job: ActiveJob): Unit = { val finalStage = createResultStage(job) submitStage(finalStage) // 递归提交父 Stage } private def submitStage(stage: Stage): Unit = { if (!stage.parents.isEmpty) { stage.parents.foreach(submitStage) // 优先提交父 Stage } submitMissingTasks(stage) // 提交当前 Stage 的 Task } } ``` --- #### 5. **容错机制** - **血统（Lineage）**：通过 RDD 的转换记录重建丢失的分区。 - **检查点（Checkpoint）**：将 RDD 持久化到可靠存储（如 HDFS），截断血统链。 --- ### 总结原理 1. **惰性执行**：转换操作仅记录元数据，行动操作触发 DAG 执行。 2. **Stage 划分**：以宽依赖为边界切割 DAG。 3. **任务调度**：每个 Stage 生成 TaskSet，由 TaskScheduler 分发到 Executor。 4. **Shuffle 机制**：宽依赖触发数据 Shuffle（如 `HashPartitioner` 按 Key 重新分区）。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值