全网最细~ Spark RDD 之五种属性

原创 已于 2025-03-04 15:50:05 修改 · 415 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #大数据 #分布式

于 2019-03-11 15:17:40 首次发布
本文深入探讨了Spark RDD的五大核心属性：分区及其编号、函数作业处理、依赖关系、KV类型RDD的分区器以及从HDFS读取数据的最优位置策略。通过详细解读，帮助读者全面理解RDD的工作机制。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

全网最细~ Spark RDD 之五种属性 《大力仑出品之次品》

  • 1
    一系列分区，分区有编号，有顺序的

  • 2
    每一个切片都会有一个函数作业在上面用于对数据进行处理

  • 3
    RDD和RDD之间存在依赖关系

  • 4
    可选，key value类型的RDD才有RDD[(K,V)]）如果是kv类型的RDD，会一个分区器，默认是hash-partitioned

  • 5
    可以，如果是从HDFS中读取数据，会得到数据的最优位置（向Namenode请求元数据）

2021年 全网最细大数据学习笔记（一）：初识 Hadoop
棒棒编程修炼场
04-04 4万+
文章目录一、大数据1、大数据的定义2、大数据的特点3、大数据行业应用4、Hadoop 与大数据5、其他大数据处理平台6、大数据人才三、 一、大数据 随着近来计算机技术和互联网的发展，大数据 这个名词越来越多地进入到我们的视野中，大数据的快速发展也无时刻影响着我们的生活。 1、大数据的定义 大数据从字面来理解就是 大量的数据。日常生活离不开数据，可以说每时每刻都在产生着数据。例如，一分钟可以做些什么事呢？在日常生活中，一分钟可能连一页书都看不完。但是一分钟内产生的数据却是庞大的。据统计，在一分钟内，YouTu
一文入门大数据准流式计算引擎Spark【万字详解，全网最新】
qq_73181349的博客
09-04 1831
Spark发展、特点、概述，三大组件：Spark Core、Saprk SQL、Spark Streaming，RDD算子、RDD转换和行动操作、RDD持久化和缓存、检查点机制、宽窄依赖、DAG、Stage，Spark SQL发展、概述、特点、dataframe、dataset，Spark Streaming工作机制、缓存、容错、DStream、常见流式计算和离线计算，Spark多种部署方式
[Spark学习] Spark RDD详解
Lestat.Z.的博客
02-25 513
文章目录什么是RDDRDD的主要属性RDD的组成RDD的分区RDD的依赖关系窄依赖(Narrow Dependency)宽依赖(Wide Dependency) 什么是RDD RDD(Resilient Distributed Datasets)，弹性分布式数据集，是Spark的基本数据结构。 它是一个不可变的分布式对象集合。 RDD中的每个数据集被划分为逻辑分区，其可以在集群的不同节点上计算。 ...
spark编程模型（一）之RDD的类型
08-11 1430
spark中的RDD操作类型可以分为四类：创建操作（creation）、转换操作（transformation）、控制操作（control）、行为操作（action） 创建操作(Creation Operation) 主要用于创建RDD。创建RDD的两种方法，一种是parallelize或者makeRDD一个已存在的集合，另一种是在外部存储系统（比如HDFS、HBASE）中引用一个数据...
spark rdd的5大特性
最新发布
weixin_43847900的博客
05-22 495
◦ 支持多级存储策略（如MEMORY_ONLY、MEMORY_AND_DISK_SER），平衡内存与CPU开销。◦ 提升并行计算效率，例如1GB数据可分成100个分区（每个10MB），由不同节点处理。◦ 转换操作（如flatMap）生成新RDD，行动操作（如count）触发实际计算。• 定义：RDD的数据被划分为多个逻辑分区，分布在集群的不同节点上并行处理。◦ 容错机制：数据丢失时，通过血统重新计算恢复（如窄依赖仅需重算父分区）。• 定义：RDD记录其生成过程（依赖关系），形成有向无环图（DAG）。
182 Spark RDD概述
阿甘兄
08-14 408
RDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，这极大地提升了查询速度。 RDD的属性 1）一组分片（Partition）：即...
Spark中，RDD概述（五大属性，弹性介绍，5个特性）
muyingmiao的专栏
09-26 8491
1 什么是RDD RDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark 中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。在Spark 中，对数据的所有操作不外乎创建RDD、转化已有RDD 以及调用RDD 操作进行求值。每个RDD 都被分为多个分区，这些分区运行在集群中的不同节点上。RDD 可以包含Python、Java、Sc...
Spark RDD 五个特性
weixin_45691780的博客
07-29 297
Spark 的RDD的五个特性 源码中的解释 A list of partitions A function for computing each split A list of dependencies on other RDDs Optionally, a Partitioner for key-value RDDs (e.g. to say that the RDD is hash-partitioned) Optionally, a list of prefer
Spark RDD算子介绍
weixin_33966365的博客
02-11 230
Spark学习笔记总结 01. Spark基础 1. 介绍 Spark可以用于批处理、交互式查询（Spark SQL）、实时流处理（Spark Streaming）、机器学习（Spark MLlib）和图计算（GraphX）。 Spark是MapReduce的替代方案，而且兼容HDFS、Hive，可融入Hadoop的生态系统，以弥补MapReduce的不足。 2. Spark-Shell spa...
Spark论文思想之-基于RDD构建的模型（Shark的来龙去脉）
初心江湖路的博客
06-03 473
3.1 介绍 首先RDD提供以下功能： 跨集群的不可变存储（在Spark中，记录是指Java Object） 使用键对数据进行分区控制 考虑分区的粗粒度运算符 由于是内存计算，所以低延迟 3.2 在RDD上实现其它模型的技术 在专业引擎里，不只是数据运算符，而且存储格式、甚至访问方法都被优化了。如SQL引擎如Shark是以面向列的格式处理数据，同时一个图计算引擎如GraphX在数据被创建索引的...
大数据技术之_19_Spark学习_02_Spark Core 应用解析+ RDD 概念 + RDD 编程 + 键值对 RDD + 数据读取与保存主要方式 + RDD 编程进阶 + 实际案例演示
黑泽君
04-26 1577
大数据技术之_19_Spark学习_02_Spark Core 应用解析+ RDD 概念 + RDD 编程 + 键值对 RDD + 数据读取与保存主要方式 + RDD 编程进阶 + 实际案例演示
Spark SQL 关联策略选择
2401_84052244的博客
07-31 3285
在分布式环境中，要想利用上述机制完成数据关联，Spark SQL 首先需要把两张表中 Join Keys 一致的数据分发到相同的 Executors 中。因此，数据分发是分布式数据关联的基础和前提。Spark SQL 支持 Shuffle 和广播两种数据分发模式，相应地，Join 也被分为 Shuffle Join 和 Broadcast Join，其中 Shuffle Join 是默认的关联策略。关于两种策略的优劣势对比，我也整理到了如下的表格中，供你参考。
五-上, Spark RDD 概述,五大属性,执行原理
菜菜的大数据开发の路
03-05 2366
五, Spark 核心编程 5.0 一个简单的分布式计算程序 先通过一个简单🌰了解一下什么是分布式计算 在了解了分布式计算大概是个什么情况后, 我们来学习Spark Spark计算框架为了能够进行高并发和高吞吐的数据处理, 封装了三大数据结构, 用于处理不同的应用场景,分别是: - RDD: 弹性分布式数据集 - 累加器: 分布式共享只写变量 - 广播变量: 分布式共享只读变量 数据结构: 计算机存储和组织数据的方式 5.1 RDD (数据和逻辑, 最小的计算单元) RDD: 代表着
spark之rdd属性以及特点
weixin_57821489的博客
03-14 775
一组分区（Partition），即数据集的基本组成单位; 一个计算每个分区的函数; RDD之间的依赖关系; 一个Partitioner，即RDD的分片函数; 一个列表，存储存取每个Partition的优先位置（preferred location）。 RDD特点 RDD表示只读的分区的数据集，对RDD进行改动，只能通过RDD的转换操作，由一个RDD得到一个新的RDD，新的RDD包含了从其他RDD衍生所必需的信息。RDDs之间存在依赖，RDD的执行是按照血缘关系延时计算的。如果血缘关系较长，可以通过持久化R
Spark之RDD的属性
echo_ale的博客
05-24 1655
1.一组分片（Partition），即数据集的基本组成单位。对于RDD来说，每个分片都会被一个计算任务处理，并决定并行计算的粒度。用户可以在创建RDD时指定RDD的分片个数，如果没有指定，那么就会采用默认值。默认值就是程序所分配到的CPU Core的数目。 2.一个计算每个分区的函数。Spark中RDD的计算是以分片为单位的，每个RDD都会实现compute函数以达到这个目的。compute函数会
RDD的五个特性
L13763338360的博客
06-01 541
1. a list of partitions（分区列表） Spark RDD是被分区的，每一个分区都会被一个计算任务（Task）处理，分区数决定并行计算数量，RDD的并行度默认从父RDD传给子RDD。 可以在创建RDD时指定RDD分片个数，如果不指定分区数量: 当RDD从集合创建时，则默认分区数量为该程序所分配到的资源的CPU核数（每个Core可以承载2～4个Partition）， 如果是从HDFS文件创建，默认为文件的Block数。 2. a function for computing eac
详解RDD基本概念、RDD五大属性
热门推荐
大数据
07-02 1万+
RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD是spark core的底层核心。Dataset:RDD 可以不保存具体数据, 只保留创建自己的必备信息, 例如依赖和计算函数；RDD 也可以缓存起来, 相当于存储具体数据。Distributed： RDD 支持分区, 可以运行在集群中。Resilient：RDD 支持高效的容错；RDD 中的数据即可以缓存在内存中
【分布式计算框架】Spark RDD五大属性剖析 | Action 和 Transformations 算子​
康师傅没有眼泪
03-28 1587
RDD 是只读的, 不允许任何形式的修改. 虽说不能因为 RDD 和 HDFS 是只读的, 就认为分布式存储系统必须设计为只读的. 但是设计为只读的, 会显著降低问题的复杂度, 因为 RDD 需要可以容错, 可以惰性求值, 可以移动计算, 所以很难支持修改.
spark -- RDD详解 （什么是RDD RDD主要属性）
kismet
04-08 1735
RDD详解 什么是RDD 为什么要有RDD? 在许多迭代式算法(比如机器学习、图算法等)和交互式数据挖掘中，不同计算阶段之间会重用中间结果，即一个阶段的输出结果会作为下一个阶段的输入。但是，之前的MapReduce框架采用非循环式的数据流模型，把中间结果写入到HDFS中，带来了大量的数据复制、磁盘IO和序列化开销。且这些框架只能支持一些特定的计算模式(map/reduce)，...
Spark RDD详解：原理、属性和应用
Spark RDD（Resilient Distributed Dataset，弹性分布式数据集）是 Spark 中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD 具有数据流模型的特点：自动容错、位置感知性调度和可...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值