通俗易懂理解RDD看这一篇就够了

置顶 已于 2023-07-11 09:57:33 修改
阅读量2.9k 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： Spark最佳实战与性能优化 文章标签： spark
于 2023-05-04 18:26:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Android_xue/article/details/130490741
本文深入浅出地介绍了Spark的核心数据结构RDD，包括其基本概念、底层原理、五大特性、应用场景及使用注意事项。RDD是不可变、可分区的，支持并行计算和自动容错。它通过Transformation和Action操作实现计算，采用惰性计算和数据本地性提高效率。常见应用场景包括数据清洗、大规模数据分析、实时流式计算和分布式机器学习。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在这里插入图片描述

前言

今天面试一个大数据开发工程师，spark相关的知识感觉都能懂一点，但是连基础的RDD稍微一问深一点就不知所云，这种情况基本上是无法通过面试的，今天想用通俗的话把RDD说明白。

RDD简介

RDD（Resilient Distributed Dataset，弹性分布式数据集）是Spark中最基本的数据抽象，代表不可变、可分区、可并行计算的集合。RDD允许将计算结构缓存到内存中，这样当后续计算需要这些数据时，就能快速从内存中加载它们，这样不但提高数据的复用性，还提高了数据的计算效率。RDD主要特点包括并行计算、自动容错、数据本地性调用等。

RDD底层原理

其数据分布存储于多台机器上，事实上，每个RDD的数据都以Block的形式存储于多台机器上，每个Executor会启动一个BlockManagerSlave，并

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【Spark实战系列】spark 的 stage 是如何划分的 看这一篇文章就够了
JasonLee实时计算
12-01 7002
最近有很多人问我,spark中的stage是怎么划分的?到底是根据什么把一个job分为多个stage的,那我们今天就用最通俗易懂的语言给大家分析一下,帮助大家的理解. 我们都知道spark的job是根据action算子触发的,遇到action算子就会起一个job,job里面又划分了很多个stage,然后每一个stage里面运行了很多个task.请大家先记住一句话,stage的划分依据就是看是否产...
【Spark计算引擎----第三篇（RDD）---《深入理解 RDD：依赖、Spark 流程、Shuffle 与缓存、Spark并行度》】
书生的技术分享
08-05 908
《深入理解 RDD：依赖、Spark 流程、Shuffle 与缓存》在 Apache Spark 中，Shuffle 是一个关键的概念，它涉及到数据的重新分布，通常发生在宽依赖操作中，例如groupByKeyjoin等。mapreduce的shuffle作用： 将map计算后的数据传递给reduce使用mapreduce的shuffle过程： 分区，排序，合并（规约）Shuffle 的定义Shuffle 是指在 Spark 中对数据进行重新分布的过程，通常涉及到将数据从一个节点移动到另一个节点。
Spark RDD转换算子与行动算子
m0_51691291的博客
12-30 1336
Spark RDD转换算子与行动算子1、什么是RDD1.1、RDD五大核心属性2、RDD转换算子2.1、单value2.2、双value2.3、Key-Value3、RDD行为算子 1、什么是RDD   RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是 Spark 中最基本的数据处理模型。代码中是一个抽象类，它代表一个弹性的、不可变、可分区、里面的元素可并行计算的集合。 弹性 存储的弹性：内存与磁盘的自动切换； 容错的弹性：数据丢失可以自动恢复； 计算的弹性：计
RDD理解
qq_33440853的博客
01-10 1042
1 RDD 全称是Resilient Distributed Datasets 翻译过来是弹性分布数据集 对这三个词一一理解 弹性：弹性指任何时候都能够重算。比如一台节点如果出了故障，RDD会在别的节点上重新恢复运行。 为什么能做到这点呢？因为RDD是依赖上个RDD产生的，具有血缘关系，即使某台节点 的RDD损坏了，可以根据血缘关系重新生成RDD 。 分布：指RDD是分布在集群中的，或者说它是分区的。每个RDD都可以分区。通过算子glom算子可以查看RDD的分区情况 数据集：可以是任何类型的数据集，通常是一
什么是rdd，rdd有哪几种创造方式
最新发布
2301_81084339的博客
05-07 221
RDD是Resilient Distributed Dataset的缩写，是Apache Spark中最基本的数据抽象，代表一个不可变、可分区、可并行操作的数据集合。
RDD、DataFrame和DataSet的区别
qiezikuaichuan的专栏
07-17 1005
RDD、DataFrame和DataSet的区别 字数1561 阅读2277 评论9 喜欢10 RDD、DataFrame和DataSet是容易产生混淆的概念，必须对其相互之间对比，才可以知道其中异同。 RDD和DataFrame RDD-DataFrame 上图直观地体现了DataFrame和RDD的区别。左侧的RDD[Person]虽然以P
深入理解RDD
zhengcaihua0的博客
03-27 319
RDD 即 Resilient Distributes Dataset, 是spark中最基础、最常用的数据结构。其本质是把input source 进行封装，封装之后的数据结构就是RDD，提供了一系列操作，比如 map、flatMap、filter等。input source种类繁多，比如hdfs上存储的文件、本地存储的文件，相应的 RDD的种类也有很多。不同的input source 对应着不...
【原】RDD专题
weixin_30564785的博客
09-10 133
RDD是什么东西？在Spark中有什么作用？如何使用？ 1、RDD是什么 （1）为什么会产生RDD？ 传统的MapReduce虽然具有自动容错、平衡负载和可拓展性的优点，但是其最大缺点是采用非循环式的数据流模型，使得在迭代计算式要进行大量的磁盘IO操作。RDD正是解决这一缺点的抽象方法 （2）RDD的具体描述 RDD（弹性数据集）是Spark提供的最重要的抽象的概念，它是一种...
【Spark计算引擎----第二篇（RDD）：一篇文章带你清楚什么是RDD？RDD的概念，RDD的特性，怎么创建一个RDD，RDD的算子】
书生的技术分享
08-02 1511
RDD的概念，RDD的特性，怎么创建一个RDD，RDD的算子等等！！！RDD是一种弹性分布式数据集合是spark中最基本的数据类型，它提供了容错能力和并行处理的能力。RDD（Resilient Distributed Dataset）弹性分布式数据集合，是Spark中最基本的数据抽象结构，代表一个不可变（只读）、可分区、里面的元素可并行计算的集合。是Spark中的一种数据类型，管理spark的内存数据。
Spark性能调优（原理篇）
qq_43303296的博客
01-21 979
2020年6月，Spark正式发布了新版本，从2.4直接跨越到了3.0。这次大版本升级的亮点就在于性能优化，它添加了诸如自适应查询执行（AQE）、动态分区裁剪（DPP）、扩展的Join Hints等特性。**Spark已经成为了各大头部互联网公司的标配，在海量数据处理上，扮演着不可获取的关键角色。**比如，字节跳动基于Spark构建的数据仓库去服务几乎所有的产品线，包括抖音、今日头条、西瓜视频、火山视频等。再比如，百度基于Spark推出BigSQL，为海量用户提供次秒级的即席查询。可以预见的是，
Spark中RDD的理解
mys_35088的博客
07-10 5229
1.什么是RDD？RDD：RDD是Spark的计算模型 RDD（Resilient Distributed Dataset）叫做弹性的分布式数据集合，是Spark中最基本的数据抽象，它代表一个不可变、只读的，被分区的数据集。操作RDD就像操作本地集合一样，数据会被分散到多台机器中（以分区为单位）。  RDD是Spark中的一个基本抽象（可以理解为代理）有了RDD，就可以像操作本地的集合一样，有很多...
什么是RDD
烙痕丷的博客
07-26 5548
RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，这极大地提升了查询速度。 RDD的属性（五大特性）： （1）一组分片（P...
Spark 中 的RDD该怎么理解？
小林玩大数据
01-09 2630
Spark 开篇！
「Spark大数据系列」spark RDD 深入浅出之 理解RDD 是什么
大数据Spark教程
12-05 233
一．理解RDD 是什么 RDD的全称是：Resilient Distributed Dataset （弹性分布式数据集），它有几个关键的特性： RDD是只读的，表示它的不可变性。可以并行的操作分区集合上的所有元素。 怎么做到的呢？我们可以从RDD的内部实现来进行了解。 每个RDD的内部，有5个主要特性： A list of partitions （一个分区列表，可以获取所有的数据分区...
SparkRDD理解
N__xc的博客
03-18 250
谈谈你对spark core的理解： rdd (Resilient Distributed Dataset) 弹性分布式数据集，是spark的基石，是实现spark数据处理的核心抽象，代表一个不可变，可分区，里面的元素可并行计算的集合。 rdd五大特点： 分区：都是逻辑上的分区，是抽象的存在 只读：要想改变RDD的数据，只能创建新的RDD 依赖：指RD...
详解RDD基本概念、RDD五大属性
热门推荐
大数据
07-02 1万+
RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD是spark core的底层核心。Dataset:RDD 可以不保存具体数据, 只保留创建自己的必备信息, 例如依赖和计算函数；RDD 也可以缓存起来, 相当于存储具体数据。Distributed： RDD 支持分区, 可以运行在集群中。Resilient：RDD 支持高效的容错；RDD 中的数据即可以缓存在内存中
Spark之深入理解RDD结构
u011144010的博客
06-04 372
RDD RDD(Resilient Distributed Datasets,弹性分布式数据集)，是Spark最为核心的概念，自然也是理解Apache Spark 工作原理的最佳入口之一。 RDD的特点： 是一个分区的只读记录的集合； 一个具有容错机制的特殊集； 只能通过在稳定的存储器或其他RDD上的确定性操作（转换）来创建； 可以分布在集群的节点上，以函数式操作集合的方式，进行各种并行操作 RDD之所以为“弹性”的特点 基于Lineage的高效容错（第n个节点出错，会从第n-1个节点恢复，血统容错）
RDD是什么
勤学善思 明辨笃行
05-27 1589
作者：JohneyQ链接：https://www.zhihu.com/question/37437257/answer/139975355来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。这个问题曾经也困扰我很久，我现在以我的理解来阐述RDD.如果你熟悉数据库，那么RDD从表现形式上讲最类似于数据库的视图（View)去除这个RDD在物理结构上的特色，单从逻辑上的表现来说...
RDD 的概念和五大特性理解
Kingsley's Blog
11-01 1771
RDD 概念 A Resilient Distributed Dataset (RDD), the basic abstraction in Spark. Represents an immutable, partitioned collection of elements that can be operated on in parallel. RDD 是一个弹性分布式数据集 DataSet； 是一个抽象类； 表示一个可以进行并行操作的元素的不可变集合。 DataSet 可以理解成一个集合，集合
如何通俗易懂的把Spark的RDD说明白
05-05
Spark的RDD（Resilient Distributed Dataset）是一种分布式的数据集合，可以在集群中进行并行计算。它是一个不可变的分布式对象，可以被分成多个分区存储在不同的计算节点上，从而实现分布式计算。 简单来说，RDD就是一个大数据集，可以被分成多个小数据块，存储在不同的计算节点上，通过并行计算来处理数据。RDD具有容错性，可以在计算节点发生故障时自动恢复，并且支持缓存机制，可以在内存或者磁盘上缓存数据，提高计算性能。同时，RDD也支持多种数据操作，例如map、reduce、filter等，可以方便地进行数据处理和分析。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

SunnyRivers

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值